Написал программку для поиска DLE сайтов, зацените!

**Lytij** » 05 фев 2011, 17:55

Не понятно зачем удалили.
Ты прогу смотрел, как тебе? Прикол уже 3 чела купили полную версию.

**Lytij** » 05 фев 2011, 17:57

Зачем я для них FreeWare версию тока делал не пойму. Даж не ответили.

**InSane** » 05 фев 2011, 18:21

Нет, я не качал, не думал что линк потрут :)

**Lytij** » 06 фев 2011, 01:03

vbi писал(а):Можно в параметрах поиска указать например -narod. В программе работают все фишки гугла, как например "точная фраза" -исключить ключ. слова и т.д.
В комплекте программы есть Руководство пользователя. Кто не читал, советую прочесть, узнаете что-то новое про программу может :)
В конце концов неужели так много сайтов с народом ищет?

Ну вы даете, все намного проще!! Неужели никто не знает всего 14 строчек кода 100% идентифицирующих DLE!!! (подсказка начинается с буквы "v")
Кстати даже на всех форумах про описание парсинга DLE никто не догадался до этого, vbi если совсем внатуг будет пиши помогу :lol:

Кстати для парсинга списка url из файла могу вам дать прогу, причем парсит все популярные CMS...
сам делал :mega:

Ссылки тут и не просите оставлять все равно удалят.

**vbi** » 08 фев 2011, 18:05

Lytij писал(а):
vbi писал(а):Можно в параметрах поиска указать например -narod. В программе работают все фишки гугла, как например "точная фраза" -исключить ключ. слова и т.д.
В комплекте программы есть Руководство пользователя. Кто не читал, советую прочесть, узнаете что-то новое про программу может :)
В конце концов неужели так много сайтов с народом ищет?

Ну вы даете, все намного проще!! Неужели никто не знает всего 14 строчек кода 100% идентифицирующих DLE!!! (подсказка начинается с буквы "v")
Кстати даже на всех форумах про описание парсинга DLE никто не догадался до этого, vbi если совсем внатуг будет пиши помогу
Кстати для парсинга списка url из файла могу вам дать прогу, причем парсит все популярные CMS...
сам делал

Ссылки тут и не просите оставлять все равно удалят.

Неужели никто не знает всего 14 строчек кода 100% идентифицирующих DLE!!! - А такие есть? Напиши на мыло если не в лом :) vbi@ukr.net

Кстате, что за программу ты написал я так и не понял?

**vbi** » 08 фев 2011, 18:09

Или в аську: два-один-девять-девять-шесть-семь-три-восемь-один :)

**Lytij** » 08 фев 2011, 20:31

vbi писал(а):
Lytij писал(а):
vbi писал(а):Можно в параметрах поиска указать например -narod. В программе работают все фишки гугла, как например "точная фраза" -исключить ключ. слова и т.д.
В комплекте программы есть Руководство пользователя. Кто не читал, советую прочесть, узнаете что-то новое про программу может :)
В конце концов неужели так много сайтов с народом ищет?

Ну вы даете, все намного проще!! Неужели никто не знает всего 14 строчек кода 100% идентифицирующих DLE!!! (подсказка начинается с буквы "v")
Кстати даже на всех форумах про описание парсинга DLE никто не догадался до этого, vbi если совсем внатуг будет пиши помогу
Кстати для парсинга списка url из файла могу вам дать прогу, причем парсит все популярные CMS...
сам делал

Ссылки тут и не просите оставлять все равно удалят.

Неужели никто не знает всего 14 строчек кода 100% идентифицирующих DLE!!! - А такие есть? Напиши на мыло если не в лом :) vbi@ukr.net

Кстате, что за программу ты написал я так и не понял?

Парсер поисковиков гугля и яши, тут же про это тема вот эту прогу и написал. )))

Авторизуй асю

**vbi** » 27 дек 2011, 14:34

Ну что ж. Встречайте! Появилась первая beta версия Butterfly 3.0 Light. Перписал полностью весь код с нуля. Теперь программа исчет все и везде. Реализовал многопоточность, мультиязычность и много другого :) Поднял свой офсайт :) Теперь у программы есть официальный сайт bibyte.net

**paren** » 28 дек 2011, 20:20

vbi, спасибо, хорошая программа
а можно как-нибудь сделать чтобы искала по всем поисковикам сразу она?

**vbi** » 28 дек 2011, 21:57

Можно, но я думаю сделать это в платной версии :)

**Ganiwi** » 29 дек 2011, 12:00

хотелось бы видеть поиск по таким движкам как vbulletin, smf, ipb

**admin** » 20 фев 2012, 00:54

vbi я случайно удалил ваши несколько сообщений которые были в конце. :blush:

**vbi** » 20 фев 2012, 09:39

Выпустил новый релиз Butterfly 3.0 Beta 2. В нем:

vBulletin

IPB

Пока не прошу админа обновить программу в полезном софте, так как это все еще бета версия, и нужно еще исправить некоторые баги :smile:

Сколько будет стоить прога для парсинга тематических форумов, которая заходит в один из разделов форума и проверяет в исходном коде страниц ссылки на наличие noindex nofollow в постах?

**vbi** » 21 фев 2012, 09:35

то есть в каждой теме проверять нет ли этих тегов?

чтобы в проге выводился список разделов и подразделов в спец. окне, отмечаешь галочкой нужные и он проверяет несколько тем в этих разделах (задаешь нужное кол-во в опциях)
В общем работа из нескольких этапов
1 вводишь запрос, прога собирает линки, показывает тип движка
2 анализ тиц, алекса, pr посещалка
3 далее форма ручного отсева по фильтрам
4 далее работа индивидуально с каждым форумом а именно - сначала регистрация на форумах - прога передает на внешний браузер страницу регистрации регистрируемся(чтобы обходить антиспам на 100% никакая программа не заменит руки человека), вносим потом в прогу данные
5 вывод разделов и подразделов форума в встроенном браузере (чтобы общаться на форумах через прогу)без графики + в спец окне в древовидном стиле
6 выбираешь раздел/подраздел в спец окне, прога определяет какие там темы, выбираешь и сканируешь на наличие тегов в постах и профилях
7 повтор шагов 4 5 и 6 со следующим форумом
8 сохранение базы для последующего общения и поднятия репы на форумах через встроенный браузер. а потом линки можно без угрызения совести оставить :blush:

**vbi** » 21 фев 2012, 12:57

Я понял цель. Нужно софт, который собирает форумы, регистрируется на них, проверяет темы на данные теги. Если теги есть - отсеивает. Если нет - оставляет и позволяет возможность общатся на таких форумах из программы. Пообщался-пообщался, оставил линк. Админ видит, что ты не робот, оставляет твой линк. А раз тегов нет - значит поисковики будут учитывать ссылку и повышать показатели Вашему сайту.
Цель недобросовестная! Не буду писать такую прогу :biggrin:

.
Шутю. Скажу что сдесь работы куча. По времени - это будет долго, еще учитывая, что я еле выделяю время на Butterfly. Тем более что еще ее нужно довести до ума. Если писать такую прогу для одного человека - будет очень дорого.
Если писать и распространять платно, конечно за невысокую цену - тогда окупится.
Идея интересна, даже мне будет полезна. Думаю займусь в будущем. Пока времени нет. Но спасибо за идею! :)

**andreu85** » 11 мар 2012, 14:43

Запускаю программу (версия 3 бета 2) и через пару минут выдает ошибку: "Microsoft Visual C++ Runtime Library This application has requested the Runtime to terminate it in an unusual way. Please contact the application's support team for more information"

Понимаю что косяк в винде, но может кто знает как решить? :blush:

**vbi** » 15 мар 2012, 23:40

Честно говоря не понимаю как Butterfly связана с Microsoft Visual C++... Я пишу на кросплатформе на QT. Попробуйте обновить Microsoft Visual C++ Runtime Library до последней. Еще проверте натройки языка. Если язык приложений украинский - поменяйте на русский.

andreu85 писал(а):Запускаю программу (версия 3 бета 2) и через пару минут выдает ошибку: "Microsoft Visual C++ Runtime Library This application has requested the Runtime to terminate it in an unusual way. Please contact the application's support team for more information"

Понимаю что косяк в винде, но может кто знает как решить?

Вбей в гугл "скачать Runtime Pack"

**EagleUp** » 30 окт 2012, 03:07

Залейте прогу на народ кто-нибудь, а то с сервера soft4dle нереально скачать.

**vbi** » 09 янв 2013, 20:38

А вы качайте с оффициального сайта)

**vbi** » 09 янв 2013, 20:42

Выпущен финальный релиз версии 3: Butterfly 3.2

В версии 3.2:

Детальное описание смотрите на офф. сайте: http://www.bibyte.net/butterfly/butterfly-32

**MaxiStiv** » 09 янв 2013, 20:44

vbi, на чем софт писали?

**maxy666** » 10 янв 2013, 02:54

да софт хороший...правда в новой версии ждал увеличение потоков, а то максимум 32

**vbi** » 10 янв 2013, 10:49

Писал на QT4. Увеличение потоков будет в 4 версии.

**vbi** » 13 янв 2013, 00:54

Выпущен релиз Butterfly 3.2 для Linux. Подробно смотрите на офф. сайте.

**smergol** » 13 янв 2013, 10:33

софт хороший, так держать :drinks:

**maxy666** » 13 янв 2013, 13:50

Писал на QT4. Увеличение потоков будет в 4 версии.

будем здать..спасибо за интересный и полезный софт.

**Nataly** » 21 фев 2013, 12:36

А я как-то скачала эту программу, но так и не поняла, как ей пользоваться. Можно показать на пальцах для чайника.

**vbi** » 21 фев 2013, 16:07

Вот видео как пользоватся второй версией. По аналогии можно пользоватся и третьей.

**Nataly** » 22 фев 2013, 12:05

Спасибо! Обязательно скачаю еще раз и попробую.

**KoNooS** » 03 мар 2013, 09:58

Форумы можно искать?

**Nataly** » 03 мар 2013, 10:09

Что-то у меня не получается. Писала запрос на поиск: и скачать рамки, шаблоны, клипарты; и материалы для Фотошопа; и Photoshop.
Ни один DLE сайт не найден. В чем ошибка?

**vbi** » 03 мар 2013, 23:51

Да, после того, как Google в свою выдачу вставил свой редирект, вторая версия (да и первая) перестали работать. Несколько раз просил обновить программу здесь. Говорили обновят, но почему то так и не обновили.

**maxy666** » 04 мар 2013, 01:27

Nataly писал(а):

Что-то у меня не получается. Писала запрос на поиск: и скачать рамки, шаблоны, клипарты; и материалы для Фотошопа; и Photoshop.
Ни один DLE сайт не найден. В чем ошибка?

попробуйте версию 3,2...и попробуйте писать не через точку с запетой а каждое слово с новой строки:
шаблоны для фотошоп
шаблоны для Photoshop

**athlonix** » 05 мар 2013, 14:55

Если долго парсить то программа кладет проц, именно во время запросов то есть скачкообразно от 0% до цифр на скрине , если поставить на паузу то 0%

Потоков 5, ключевики загружены из файла (около 2к), "Проверено" более 20к, "Отобрано" около 4к, Профиль фильтра: без отбора, ПС google(ru) и yandex.
И еще один нюанс, загрузил ссылки из файла (1000к), выбрал фильтр отбора Dle, программа сначала повисла, перестала отвечать потом прекратила свою работу с предложением закрыть ее и все.

**vbi** » 06 мар 2013, 15:10

Ну да, 1000к ссылок она пока не загрузит, т. к. грузит за раз полностью весь файл, и ей не хватает памяти. Переделаю чтоб грузила порциями.

**vbi** » 06 мар 2013, 15:13

Приоритет ей по умолчанию устанавливается ниже среднего, потому когда выдиляется процессорный ресурс, предпочтение отдается ОС и другим программам. А все то что остается свободным - программа использует. Потому даже когда она использует 95% процессора, то она не должна влиять на другие программы. Они не будут подвисать. Разве что может понижатся скорость интернета.

**athlonix** » 06 мар 2013, 19:07

Спасибо за ответы, еще вопрос, можно ли парсить рейтинг liveinternet? например любой из разделов или несколько по выбору или весь рейтинг сразу за 31 день без ключевых слов? и отдельно по ключевым словам. То же самое неплохо сделать касаемо: hotlog.ru/top, yaca.yandex.ua, list.mail.ru, top.mail.ru top100.rambler.ru, ведь сейчас программа требует ввести ключевое слово, а вытянуть список сайтов без поиска не выходит.

**vbi** » 07 мар 2013, 12:02

athlonix писал(а):Спасибо за ответы, еще вопрос, можно ли парсить рейтинг liveinternet? например любой из разделов или несколько по выбору или весь рейтинг сразу за 31 день без ключевых слов? и отдельно по ключевым словам. То же самое неплохо сделать касаемо: hotlog.ru/top, yaca.yandex.ua, list.mail.ru, top.mail.ru top100.rambler.ru, ведь сейчас программа требует ввести ключевое слово, а вытянуть список сайтов без поиска не выходит.

Это все уже можно делать в программе. И даже эти профили Вы можете добавить сами!
Например на liveinternet адреса страниц имеют вид:

http://www.liveinternet.ru/rating/index.html?page=1
http://www.liveinternet.ru/rating/index.html?page=2
http://www.liveinternet.ru/rating/index.html?page=3
...

соответственно в профиль поиска liveinternet.ru в качестве адреса поиска можно вписать "http://www.liveinternet.ru/rating/index.html?page=[p]".
Как видим параметра [q] здесь нет (параметр с текстом поиска). Таким образом выбрав этот профиль можно ввести любой текст в окно поиска (просто чтоб программа дала искать. Сам текст учитыватся не будет) а программа спокойненько будет перелистывать страницы, вытаскивать ссылки, фильтровать их и т. д.

Так само list.mail.ru:

http://list.mail.ru/top100sites_1.html
http://list.mail.ru/top100sites_2.html
http://list.mail.ru/top100sites_3.html

В профиль напишем: http://list.mail.ru/top100sites_[p].html

Так само можно зделать и другие профили. Только нужно еще определить признаки окончания результатов, определения на спам, первичный фильтр.

**vbi** » 07 мар 2013, 12:08

Вот мануал как самому создать профиль поисковика. С помощью его вы создадите профили и для liveinternet, и для других каталогов и поисковиков. В 3.2 версии есть только отличие в том, что в профиле поле "Кеш" теперь назівается "Первичный фильтр". Это по сути тоже самое, только теперь туда можно вписывать много фрагментов текста через запятую.

**vbi** » 07 мар 2013, 12:11

...например любой из разделов или несколько по выбору или весь рейтинг сразу за 31 день без ключевых слов?

Только для каждого раздела нужно будет настраивать свой профиль (копировать профиль и подправлять адрес поиска). Парсить весь рейтинг - тоже отдельный профиль.

**vbi** » 09 мар 2013, 21:48

Вот онлайновый мануал, подправленый для Butterfly 3.2 как создавать профили поиска.

**MaxiStiv** » 09 мар 2013, 22:15

vbi, подскажите плиз, а зачем вобще профили поиска? На разных профилях по одному запросу найщет совершенно разные сайты? Просто не совсем понимаю принцип профилей. Спс.

**vbi** » 09 мар 2013, 22:38

Разные профили - разные поисковики и каталоги. Один профиль перебирает выдачу поисковика Google, Второй - Яндекс, Третий - каталог DMOZ, четвертый - Liveinternet. Все эти поисковики и каталоги содержат разные ссылки. Чего нет в Яндексе, есть в DMOZ. Вообще смотря для каких задач использовать программу. Возможно Вам будет достаточно и Яндекса.
Вот например напишите свой сайт и будете там в новостях выкладывать самые прибыльные DLE сайты, а я напишу профиль для программы, который будет ваши новости перебирать и вытаскивать из них ссылки DLE :).

**vbi** » 15 мар 2013, 22:18

Выложил детальную инструкцию по созданию профилей фильтрации.

**vbi** » 17 дек 2013, 17:42

Вот наконец вышла в свет beta версия Butterfly 4.0 (beta) http://bibyte.net/content/butterfly-40-beta.
В новой версии:

Изменен интерфейс программы. Предоставлена возможность использовать программу на нетбуках с небольшим разрешением экрана.
Реализована поддержка проверки локальных ссылок
Реализован вывод в лог ошибок при проверке сайтов
Добавлена возможность выводить в файл результатов ссылки с ошибкой проверки
Реализован механизм авторизации и получения дополнительных функций программы
Реализована защита IP через случайный прокси при парсинге
Реализован авточекер прокси
Возможность скрытия рекламы при наличии минимум одной дополнительной функции
Возможность не тестировать на работоспособность найденные ссылки (не фильтровать)
Изменен User-Agent
Возможность продолжения парсинга с того места где парсинг был прерван при следующем запуске программы
Возможность увеличения количества параллельных процессов до 300
Исправлена ошибка при работе с SSL
Исправлены и протестированы профили поиска и фильтрации
Исправлены мелкие ошибки

АКЦИЯ: Услуги прокси и увеличения количества параллельных процессов платные, но до 20.12.2013 будут доступны всем бессплатно.
Вот инструкция как подключить платные услуги: http://bibyte.net/butterfly/services.
При заказе минимум одной услуги показ рекламы прекращается.

**admin** » 17 дек 2013, 22:21

Спасибо попробую.

**doradion** » 02 янв 2015, 02:56

Некоторые фильтры поисковиков не работают((((

Как сбросить демо режим Web parser? Кто знает? 3 часа работает и вылетает((((

Кто сейчас на конференции