Makeprosoft.ru » Обновление

Версия 2.5

admin — Mon, 04 Jan 2010 17:25:56 +0000

Вышла версия 2.5.
Убрал онлайн синонимизацию, все равно медленная, в индексе синонимайз не держится и автор сервиса против.
Так же исправил несколько критичных багов.
Советую всем обновится.

Мой блог находят по следующим фразам

Платность.

admin — Tue, 08 Dec 2009 18:28:45 +0000

В последнее время из-за роста популярности программы нагрузка на сервер базы выросла до предела. Оптимизировал как мог. Если это продолжится это может привести к периодическому падению сервера. Поэтому думаю что стоит перевести программу на платную основу. Насильно я этого делать не хочу и не буду. Если большинство откажется то парсер останется бесплатный. Однако, платность позволит уменьшить колличество “школоты” которая только засаряет выдачу и нагружает сервер, позволит реализовать более уникальные функции (как парсер vkontakte.ru), которые нельзя добавлять в бесплатную версию по понятным причинам, ускорит работу, ускорит улучшение парсера, позволит добавить функции работы через сервер и функции для которых нужны деньги (к примеру покупка отлично алгоритма синонимизации). Предпологаемая цена 100р в месяц. Цена примерная, возможно изменится в большую или меньшую сторону. Там видно будет. Помесячная плата хороша тем, что это позволит пользователю в любой момент времени отказатся, если парсер перестанет его удовлетворять. Это так же повод для меня для развития парсера. Конечно, можно будет оплатить сразу за несколько месяцев или год. Как вы считает?

Демо версия останется. Ограничение-парсинг не более 1-2 страниц базу(100-200 постов) в день.

Мой блог находят по следующим фразам

Версия 2.3

admin — Mon, 07 Dec 2009 14:19:36 +0000

Улучшил дорген. Переделал модель ссылок, добавил изменяемый код для доров, сделал index. Исправил пару багов в коде самого парсера. Особых изменений нет.

Список функций:
1.Парсинг по заданному слову или выражению. Результаты можно сортировать по дате публикации или по релевантности. При этом при сортировке по дате результаты более тематические.
2. Парсинг статей заданной категории. При этом парсятся только статьи указанной категории или метки.
3.Экспорт в отдельные html файлы, rss ленту или html файл для дальнейшего импорта в zebroid или WPT, или в формат из шаблона.
4.Парсить можно популярные блоги, блоги целиком(статьи и комментарии из блогов), записи из блогов, записи из микроблогов, коментарии из блогов и микроблогов, форумы, все блоги и форумы.
5.Можно парсить определенный сервис(livejournal и т.п.) или даже отдельный блог.
6. Функция замены слов в тексте.(Файл replace.txt в папке парсера. Для замены слова “пользователь” на “читатель” добавте туда строку “пользователь=читатель”, без кавычек.). Замена просиходит через регулярные выражения, что дает неограниченое пространство корректировки текста.
7.Рядом с каждой функцией есть знак вопроса, при нажатии на который вы получите краткую справку.
8. Удаление повторов. Парсер автоматически удаляет 90% повторных статей в случае если одна статья размещена на нескольких сервисах.(Присутствует с версии 1.1)
9.Добавлены стоп слова.(Файл stop_slova.txt в папке парсера. Писать надо по одному слову в строке. Если одно из этих слов встречается в тексте статьи то статья не сохраняется. Регистр значения не имеет. )
10.Можно парсить по собраному списку url статей, или запросов.
11. Можно указать лимит постов.
12. Есть предпросмотр постов позволяющий вручную отбирать подходящие посты. Показывает вид как в браузере, со ссылками и картинками, и чистый код стать который можно менять.
13. Автоматическая синонимизация текстов внутри парсера. Работает достаточно быстро и качественно. Есть синонимизация через сервер. Работает на очень неплохом уровне.
14. Автоматическое удаление указанных тегов.
15. Работа с прокси.
16. Поддержка профайлов. Это позволяет разбивать длинный парсинг на несколько этапов а также нет необходимости каждый раз настраивать парсер.
17. Можно разбивать текст на предложения и перемешивать. Это помогает уникализировать текст.
18.Опциональное добавление беклинка на источник, который в любом случе будет виден для поисковиков(даже если в парсере указать добавление к ссылкам).
19.Удобный и понятный интерфейс.
20.Сохранение последних настроек.
21.Встроенный генератор дорвеев.
22. Можно для каждого запроса указать количество обрабатываемых страниц базы. Это очень полезно при парсинге по списку.

Мой блог находят по следующим фразам

Версия 2.2

admin — Sat, 05 Dec 2009 19:36:18 +0000

В этой версии пара баг фиксов. Относительно ссылок на доргене, и онлайн синонимизации. Автор сайта seogenerator установил лимит в 20! обращений в минуту с одного IP (случилось это сразу после добавления этой функции в мой парсер, и не секрет в чем причина появления такого ограничения =)). Возможно уговорю его поднять хотяб до 60. Сейчас онлайн синонимизация работает оочень медленно. С этой версии на нее уходит больше времени но текст не заменяется на сообщение о превышении лимита обращений, как было ранее. Добавил лимит страниц. Если его установить например на 5, то для кадого поста будут парсится только первые 5 страниц. Это очень полезно при парсинге по списку. Фактически это лимит постов для каждого запроса. Помоему все изменения.

Мой блог находят по следующим фразам

Версия 2.1

admin — Fri, 04 Dec 2009 19:01:41 +0000

Вот версия 2.1. Изменений не особо много. Теперь сохраняется формат сохранения (в прошлой версии почему то забыл). Теперь программа запоминает последнюю конфигурацию. И, самое крупное,-есть генерация дорвеев. Теперь можно создавать дорвеи. Пока просто в шаблон подставляются название, текст статьи и ссылки на 10 следующих страниц. Дизайн настраивается. Есть пожелания по генерации доров-с удовольствием выслушаю на форуме .

Все вопросы по дорвею и шаблонам для него писать тут .

П.С. Спинным мозгом чувствую что где то напортачил, но лень проверять все. Оставляю это вам. =)

Мой блог находят по следующим фразам

День рождения.

admin — Mon, 30 Nov 2009 20:58:58 +0000

Седня у меня день рождения. Так что я весь день отдыхаю. Даже если я конкретно напортачил в версии 2.0, то багфиксов до завтра (до 2 то бишь) не ждите. Буду праздновать. Всем удачи.

Мой блог находят по следующим фразам

Версия 2.0

admin — Mon, 30 Nov 2009 17:41:54 +0000

Всего за 3 недели дошел до релиза версии 2.0. Изменено много, относительно интерфейса. Во первых программа менее громоздкая, настройки вынесены в отдельную форму. Теперь есть поддержка профилей. Тоесть можно сохранить файл проекта, в нем сохранится место сохранения, позиция при парсинге по запросу или по списку запросов, все настройки (запрос, метка, формат сохранения, нужно ли синонимизировать). Теперь можно один раз настроить проект и просто загружать профиль. (не забывайте что страница в базе сохраняется тоже. Если вы загрузили проект и хотите парсить сначала базы- в поле “страница базы” напишите “0″.) Длинный список запросов можно парсить в несколько заходов, сохраняя и загружая профиль. Положение в списке и страница базы сохраняются. Теперь есть еще одна функция уникализации-перемешивание. Эта функция перемешивает статью по предложениям. Я сам не проверял ее, поэтому используйте на свой страх и риск. Если кто то получит результаты-скажите мне. Теперь в замене внутри текста используются регулярные выражения. Скоро выложу мануал по регулярным выражениям, но уже сейчас там куда качественнее чем раньше убираются теги(чтоб новые шаблоны удаления тегов заработали удалите старые и рядом выберите подходящие заново). Теперь адрес сохранения показывается в главном окне, а при нажатии на это поле открывается папка сохранения. Теперь можно выбрать опцию добавления ссылки на источник. В конце статьи будет добавлена ссылка на страницу откуда взята статья. Вроде при этом яндекс легче к плагиату относится. Исправил немало багов. Категорически советую всем скачать! Эта версия на порядок лучше прошлой.

Мой блог находят по следующим фразам

Версия 1.9

admin — Sat, 28 Nov 2009 13:29:41 +0000

Вышла версия парсера 1.9. В не добавлена онлайн синонимизация, которая быстрее и качественее чем сделанная мною. Надеюсь не зря старался. Так же исправил несколько мелких багов. В ближайшее время версию 2.0 можете не ждать, т.к. хочу переделать архитектуру и интерфейс программы. Сделать несколько серьездных доработок.

Список функций:
1.Парсинг по заданному слову или выражению. Теперь результаты сортировать можно по дате публикации или по релевантности. При этом при сортировке по дате результаты более тематические.
2. Парсинг статей заданой категории. При этом парсятся только статьи указаной категории или метки.
3.Экспорт в отдельные html файлы, rss ленту или html файл для дальнейшего импорта в zebroid или WPT, или в формат из шаблона.
4.Парсить теперь можно популярные блоги, блоги целиком(статьи и комментарии из блогов), записи из блогов, записи из микроблогов, коментарии из блогов и микроблогов, форумы, все блоги и форумы.
5.Можно парсить определенный сервис(livejournal и т.п.) или даже отдельный блог.
6. Функция замены слов в тексте.(Файл replace.txt в папке парсера. Для замены слова “пользователь” на “читатель” добавте туда строку “пользователь=читатель”, без кавычек.)
7.Рядом с каждой функцией есть знак вопроса, при нажатии на который вы получите краткую справку.
8. Удаление повторов. Парсер автоматически удаляет 90% повторных статей в случае если одна статья размещена на нескольких сервисах.(Присутствует с версии 1.1)
9.Добавлены стоп слова.(Файл stop_slova.txt в папке парсера. Писать надо по одному слову в строке. Если одно из этих слов встречается в тексте статьи то статья не сохраняется. Регистр значения не имеет. )
10.Можно парсить по собраному списку url статей, или запросов.
11. Можно указать лимит постов.
12. Есть предпросмотр постов позволяющий вручную отбирать подходящие посты.
13. Автоматическая синонимизация текстов внутри парсера. Работает достаточно быстро и качественно.
14. Автоматическое удаление указанных тегов.
15. Работа с прокси.

Мой блог находят по следующим фразам

Версия 1.8

admin — Thu, 26 Nov 2009 15:04:21 +0000

Вышла версия 1.8. Теперь окно предпросмотра можно свернуть, там показывается текст так, как он будет выглядеть на сайте, со ссылками и картинками. Добавлена поддержка прокси, если вы воходит в интернет с использованием прокси. Имена файлов теперь выглядят “Дата_время”. Тоесть перерь при сохранении файлов в одну папку они не перезаписываются. Теперь “свой формат” сохраняет в 1 файл, циклично записывая туда статьи подогнанные под шаблон. Есть удаление тегов но работает достаточно коряво.

Список функций:
1.Парсинг по заданному слову или выражению. Теперь результаты сортировать можно по дате публикации или по релевантности. При этом при сортировке по дате результаты более тематические.
2. Парсинг статей заданой категории. При этом парсятся только статьи указаной категории или метки.
3.Экспорт в отдельные html файлы, rss ленту или html файл для дальнейшего импорта в zebroid или WPT, или в формат из шаблона.
4.Парсить теперь можно популярные блоги, блоги целиком(статьи и комментарии из блогов), записи из блогов, записи из микроблогов, коментарии из блогов и микроблогов, форумы, все блоги и форумы.
5.Можно парсить определенный сервис(livejournal и т.п.) или даже отдельный блог.
6. Функция замены слов в тексте.(Файл replace.txt в папке парсера. Для замены слова “пользователь” на “читатель” добавте туда строку “пользователь=читатель”, без кавычек.)
7.Рядом с каждой функцией есть знак вопроса, при нажатии на который вы получите краткую справку.
8. Удаление повторов. Парсер автоматически удаляет 90% повторных статей в случае если одна статья размещена на нескольких сервисах.(Присутствует с версии 1.1)
9.Добавлены стоп слова.(Файл stop_slova.txt в папке парсера. Писать надо по одному слову в строке. Если одно из этих слов встречается в тексте статьи то статья не сохраняется. Регистр значения не имеет. )
10.Можно парсить по собраному списку url статей, или запросов.
11. Можно указать лимит постов.
12. Есть предпросмотр постов позволяющий вручную отбирать подходящие посты.
13. Автоматическая синонимизация текстов внутри парсера.
14. Автоматическое удаление указанных тегов.
15. Работа с прокси.

Мой блог находят по следующим фразам

Версия 1.7

admin — Mon, 23 Nov 2009 18:24:44 +0000

Вышла версия 1.7. Из нововведений-синонимизация(теперь парсер может сам синонимизировать тексты. Есть быстрый вариант с котроткой базой и более медленный. Если что, базы можно исправить. Файлы syn_s и syn_b). Так же исправил баг с пустыми ответами от яндекса.

Мой блог находят по следующим фразам