Написал программку для поиска DLE сайтов, зацените!

Правила форума
В данном разделе можно общаться на абсолютно любые темы. Внимание! Реклама запрещена!

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 05 фев 2011, 17:55

Не понятно зачем удалили.
Ты прогу смотрел, как тебе? Прикол уже 3 чела купили полную версию.
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 05 фев 2011, 17:57

Зачем я для них FreeWare версию тока делал не пойму. Даж не ответили.
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение InSane » 05 фев 2011, 18:21

Нет, я не качал, не думал что линк потрут :)
Аватара пользователя
InSane
Обычный пользователь
 
Сообщения: 6948
Зарегистрирован: 29 июл 2008, 23:35
Откуда: http://podberisebe.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 06 фев 2011, 01:03

vbi писал(а):Можно в параметрах поиска указать например -narod. В программе работают все фишки гугла, как например "точная фраза" -исключить ключ. слова и т.д.
В комплекте программы есть Руководство пользователя. Кто не читал, советую прочесть, узнаете что-то новое про программу может :)
В конце концов неужели так много сайтов с народом ищет?


Ну вы даете, все намного проще!! Неужели никто не знает всего 14 строчек кода 100% идентифицирующих DLE!!! (подсказка начинается с буквы "v")
Кстати даже на всех форумах про описание парсинга DLE никто не догадался до этого, vbi если совсем внатуг будет пиши помогу :lol:
Кстати для парсинга списка url из файла могу вам дать прогу, причем парсит все популярные CMS...
сам делал :mega:

Ссылки тут и не просите оставлять все равно удалят.
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 08 фев 2011, 18:05

Lytij писал(а):
vbi писал(а):Можно в параметрах поиска указать например -narod. В программе работают все фишки гугла, как например "точная фраза" -исключить ключ. слова и т.д.
В комплекте программы есть Руководство пользователя. Кто не читал, советую прочесть, узнаете что-то новое про программу может :)
В конце концов неужели так много сайтов с народом ищет?


Ну вы даете, все намного проще!! Неужели никто не знает всего 14 строчек кода 100% идентифицирующих DLE!!! (подсказка начинается с буквы "v")
Кстати даже на всех форумах про описание парсинга DLE никто не догадался до этого, vbi если совсем внатуг будет пиши помогу :lol:
Кстати для парсинга списка url из файла могу вам дать прогу, причем парсит все популярные CMS...
сам делал :mega:

Ссылки тут и не просите оставлять все равно удалят.


Неужели никто не знает всего 14 строчек кода 100% идентифицирующих DLE!!! - А такие есть? Напиши на мыло если не в лом :) vbi@ukr.net

Кстате, что за программу ты написал я так и не понял?
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 08 фев 2011, 18:09

Или в аську: два-один-девять-девять-шесть-семь-три-восемь-один :)
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 08 фев 2011, 20:31

vbi писал(а):
Lytij писал(а):
vbi писал(а):Можно в параметрах поиска указать например -narod. В программе работают все фишки гугла, как например "точная фраза" -исключить ключ. слова и т.д.
В комплекте программы есть Руководство пользователя. Кто не читал, советую прочесть, узнаете что-то новое про программу может :)
В конце концов неужели так много сайтов с народом ищет?


Ну вы даете, все намного проще!! Неужели никто не знает всего 14 строчек кода 100% идентифицирующих DLE!!! (подсказка начинается с буквы "v")
Кстати даже на всех форумах про описание парсинга DLE никто не догадался до этого, vbi если совсем внатуг будет пиши помогу :lol:
Кстати для парсинга списка url из файла могу вам дать прогу, причем парсит все популярные CMS...
сам делал :mega:

Ссылки тут и не просите оставлять все равно удалят.


Неужели никто не знает всего 14 строчек кода 100% идентифицирующих DLE!!! - А такие есть? Напиши на мыло если не в лом :) vbi@ukr.net

Кстате, что за программу ты написал я так и не понял?


Парсер поисковиков гугля и яши, тут же про это тема вот эту прогу и написал. )))

Авторизуй асю
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 27 дек 2011, 14:34

Ну что ж. Встречайте! Появилась первая beta версия Butterfly 3.0 Light. Перписал полностью весь код с нуля. Теперь программа исчет все и везде. Реализовал многопоточность, мультиязычность и много другого :) Поднял свой офсайт :) Теперь у программы есть официальный сайт bibyte.net
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение paren » 28 дек 2011, 20:20

vbi, спасибо, хорошая программа
а можно как-нибудь сделать чтобы искала по всем поисковикам сразу она?
paren
Бывалый Постер
Бывалый Постер
 
Сообщения: 226
Зарегистрирован: 23 сен 2010, 13:32

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 28 дек 2011, 21:57

Можно, но я думаю сделать это в платной версии :)
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Ganiwi » 29 дек 2011, 12:00

хотелось бы видеть поиск по таким движкам как vbulletin, smf, ipb
Ganiwi
Постоялец
Постоялец
 
Сообщения: 199
Зарегистрирован: 29 июн 2010, 21:33

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение admin » 20 фев 2012, 00:54

vbi я случайно удалил ваши несколько сообщений которые были в конце. :blush:
Аватара пользователя
admin
Администратор
Администратор
 
Сообщения: 3779
Зарегистрирован: 14 июн 2008, 15:40

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 20 фев 2012, 09:39

Выпустил новый релиз Butterfly 3.0 Beta 2. В нем:

    Реализована обработка капчи пользователем
    После аварийной паузы, программа открывает окно браузера в котором можно узнать о причине ошибки (и ввести капчу). Если действий от пользователя нет в течение 10 минут, программа продолжает поиск автоматически.
    В диалоговое окно программы добавлена кнопка выхода из программы и кнопка сворачивания в трей.
    Дописана документация по разработке профилей поиска
    Добавлен профиль фильтрации vBulletin и IPB

    Исправлена ошибка определения последней страницы поисковика в некоторых случаях
    Исправлена ошибка выгрузки объектов из памяти при использовании проверку реакции сайтов на параметры
    Исправлена ошибка парсинга ссылок, которые представлены как редирект (проблема наблюдалась с Google)
    Исправлена ошибка внезапного закрытия программы
    Программа больше не проверяет идущие подряд дубликаты ссылок
    Исправлены и улучшены некоторые профили
    Другие мелкие исправления

Пока не прошу админа обновить программу в полезном софте, так как это все еще бета версия, и нужно еще исправить некоторые баги :smile:
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Иван Котельников » 20 фев 2012, 18:31

Сколько будет стоить прога для парсинга тематических форумов, которая заходит в один из разделов форума и проверяет в исходном коде страниц ссылки на наличие noindex nofollow в постах?
Аватара пользователя
Иван Котельников
Магистр
Магистр
 
Сообщения: 928
Зарегистрирован: 10 дек 2010, 20:37

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 21 фев 2012, 09:35

то есть в каждой теме проверять нет ли этих тегов?
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Иван Котельников » 21 фев 2012, 10:24

чтобы в проге выводился список разделов и подразделов в спец. окне, отмечаешь галочкой нужные и он проверяет несколько тем в этих разделах (задаешь нужное кол-во в опциях)
В общем работа из нескольких этапов
1 вводишь запрос, прога собирает линки, показывает тип движка
2 анализ тиц, алекса, pr посещалка
3 далее форма ручного отсева по фильтрам
4 далее работа индивидуально с каждым форумом а именно - сначала регистрация на форумах - прога передает на внешний браузер страницу регистрации регистрируемся(чтобы обходить антиспам на 100% никакая программа не заменит руки человека), вносим потом в прогу данные
5 вывод разделов и подразделов форума в встроенном браузере (чтобы общаться на форумах через прогу)без графики + в спец окне в древовидном стиле
6 выбираешь раздел/подраздел в спец окне, прога определяет какие там темы, выбираешь и сканируешь на наличие тегов в постах и профилях
7 повтор шагов 4 5 и 6 со следующим форумом
8 сохранение базы для последующего общения и поднятия репы на форумах через встроенный браузер. а потом линки можно без угрызения совести оставить :blush:
Аватара пользователя
Иван Котельников
Магистр
Магистр
 
Сообщения: 928
Зарегистрирован: 10 дек 2010, 20:37

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 21 фев 2012, 12:57

Я понял цель. Нужно софт, который собирает форумы, регистрируется на них, проверяет темы на данные теги. Если теги есть - отсеивает. Если нет - оставляет и позволяет возможность общатся на таких форумах из программы. Пообщался-пообщался, оставил линк. Админ видит, что ты не робот, оставляет твой линк. А раз тегов нет - значит поисковики будут учитывать ссылку и повышать показатели Вашему сайту.
Цель недобросовестная! Не буду писать такую прогу :biggrin: .
Шутю. Скажу что сдесь работы куча. По времени - это будет долго, еще учитывая, что я еле выделяю время на Butterfly. Тем более что еще ее нужно довести до ума. Если писать такую прогу для одного человека - будет очень дорого.
Если писать и распространять платно, конечно за невысокую цену - тогда окупится.
Идея интересна, даже мне будет полезна. Думаю займусь в будущем. Пока времени нет. Но спасибо за идею! :)
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение andreu85 » 11 мар 2012, 14:43

Запускаю программу (версия 3 бета 2) и через пару минут выдает ошибку: "Microsoft Visual C++ Runtime Library This application has requested the Runtime to terminate it in an unusual way. Please contact the application's support team for more information"
Изображение
Понимаю что косяк в винде, но может кто знает как решить? :blush:
andreu85
Наблюдатель
Наблюдатель
 
Сообщения: 22
Зарегистрирован: 30 ноя 2009, 13:13
Откуда: Киев

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 15 мар 2012, 23:40

Честно говоря не понимаю как Butterfly связана с Microsoft Visual C++... Я пишу на кросплатформе на QT. Попробуйте обновить Microsoft Visual C++ Runtime Library до последней. Еще проверте натройки языка. Если язык приложений украинский - поменяйте на русский.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Иван Котельников » 17 мар 2012, 14:20

andreu85 писал(а):Запускаю программу (версия 3 бета 2) и через пару минут выдает ошибку: "Microsoft Visual C++ Runtime Library This application has requested the Runtime to terminate it in an unusual way. Please contact the application's support team for more information"
Изображение
Понимаю что косяк в винде, но может кто знает как решить? :blush:

Вбей в гугл "скачать Runtime Pack"
Аватара пользователя
Иван Котельников
Магистр
Магистр
 
Сообщения: 928
Зарегистрирован: 10 дек 2010, 20:37

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение EagleUp » 30 окт 2012, 03:07

Залейте прогу на народ кто-нибудь, а то с сервера soft4dle нереально скачать.
EagleUp
Посетитель
Посетитель
 
Сообщения: 78
Зарегистрирован: 13 май 2009, 15:58

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 09 янв 2013, 20:38

А вы качайте с оффициального сайта)
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 09 янв 2013, 20:42

Выпущен финальный релиз версии 3: Butterfly 3.2

В версии 3.2:

    Изменен алгоритм отбора ссылок
    Реализована возможность сохранять дубликаты ссылок
    Исправлена выдача ссылок Google
    Исправлено отображение кириллических ссылок
    Изменены некоторые значки кнопок для удобства
    Добавлены кнопки открытия папок профилей
    Реализован первичный фильтр профиля поисковика, вместо параметра кеша в профиле
    Добавлена проверка новых версий программы
    Удален профиль поиска Baidu в связи с выставлением ссылок на редирект вместо нормальных ссылок
    Изменены/протестированы все профили
    Добавлены профили поиска: Nigma, Yahoo, Clusty, Aol, Gigablast, Lycos, Teoma, Refer.ru

Детальное описание смотрите на офф. сайте: http://www.bibyte.net/butterfly/butterfly-32
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение MaxiStiv » 09 янв 2013, 20:44

vbi, на чем софт писали?
Аватара пользователя
MaxiStiv
Постоялец
Постоялец
 
Сообщения: 156
Зарегистрирован: 19 ноя 2012, 10:33

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение maxy666 » 10 янв 2013, 02:54

да софт хороший...правда в новой версии ждал увеличение потоков, а то максимум 32
Аватара пользователя
maxy666
Наш человек
Наш человек
 
Сообщения: 1227
Зарегистрирован: 13 мар 2009, 19:35
Откуда: Луцк Украина

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 10 янв 2013, 10:49

Писал на QT4. Увеличение потоков будет в 4 версии.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 13 янв 2013, 00:54

Выпущен релиз Butterfly 3.2 для Linux. Подробно смотрите на офф. сайте.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение smergol » 13 янв 2013, 10:33

софт хороший, так держать :drinks:
Аватара пользователя
smergol
Специалист Постер
Специалист Постер
 
Сообщения: 480
Зарегистрирован: 22 апр 2011, 19:12
Откуда: Файне місто Тернопіль

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение maxy666 » 13 янв 2013, 13:50

Писал на QT4. Увеличение потоков будет в 4 версии.

будем здать..спасибо за интересный и полезный софт.
Аватара пользователя
maxy666
Наш человек
Наш человек
 
Сообщения: 1227
Зарегистрирован: 13 мар 2009, 19:35
Откуда: Луцк Украина

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Nataly » 21 фев 2013, 12:36

А я как-то скачала эту программу, но так и не поняла, как ей пользоваться. Можно показать на пальцах для чайника.
Аватара пользователя
Nataly
Постоялец
Постоялец
 
Сообщения: 161
Зарегистрирован: 28 фев 2012, 14:30

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 21 фев 2013, 16:07

Вот видео как пользоватся второй версией. По аналогии можно пользоватся и третьей.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Nataly » 22 фев 2013, 12:05

Спасибо! Обязательно скачаю еще раз и попробую.
Аватара пользователя
Nataly
Постоялец
Постоялец
 
Сообщения: 161
Зарегистрирован: 28 фев 2012, 14:30

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение KoNooS » 03 мар 2013, 09:58

Форумы можно искать?
Аватара пользователя
KoNooS
Постоялец
Постоялец
 
Сообщения: 183
Зарегистрирован: 22 фев 2011, 20:29

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Nataly » 03 мар 2013, 10:09

Изображение

Что-то у меня не получается. Писала запрос на поиск: и скачать рамки, шаблоны, клипарты; и материалы для Фотошопа; и Photoshop.
Ни один DLE сайт не найден. В чем ошибка?
Аватара пользователя
Nataly
Постоялец
Постоялец
 
Сообщения: 161
Зарегистрирован: 28 фев 2012, 14:30

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 03 мар 2013, 23:51

Да, после того, как Google в свою выдачу вставил свой редирект, вторая версия (да и первая) перестали работать. Несколько раз просил обновить программу здесь. Говорили обновят, но почему то так и не обновили.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение maxy666 » 04 мар 2013, 01:27

Nataly писал(а):Изображение

Что-то у меня не получается. Писала запрос на поиск: и скачать рамки, шаблоны, клипарты; и материалы для Фотошопа; и Photoshop.
Ни один DLE сайт не найден. В чем ошибка?

попробуйте версию 3,2...и попробуйте писать не через точку с запетой а каждое слово с новой строки:
шаблоны для фотошоп
шаблоны для Photoshop
Аватара пользователя
maxy666
Наш человек
Наш человек
 
Сообщения: 1227
Зарегистрирован: 13 мар 2009, 19:35
Откуда: Луцк Украина

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение athlonix » 05 мар 2013, 14:55

Если долго парсить то программа кладет проц, именно во время запросов то есть скачкообразно от 0% до цифр на скрине , если поставить на паузу то 0%

Изображение

Потоков 5, ключевики загружены из файла (около 2к), "Проверено" более 20к, "Отобрано" около 4к, Профиль фильтра: без отбора, ПС google(ru) и yandex.
И еще один нюанс, загрузил ссылки из файла (1000к), выбрал фильтр отбора Dle, программа сначала повисла, перестала отвечать потом прекратила свою работу с предложением закрыть ее и все.
Аватара пользователя
athlonix
Постоялец
Постоялец
 
Сообщения: 178
Зарегистрирован: 06 апр 2011, 21:20

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 06 мар 2013, 15:10

Ну да, 1000к ссылок она пока не загрузит, т. к. грузит за раз полностью весь файл, и ей не хватает памяти. Переделаю чтоб грузила порциями.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 06 мар 2013, 15:13

Приоритет ей по умолчанию устанавливается ниже среднего, потому когда выдиляется процессорный ресурс, предпочтение отдается ОС и другим программам. А все то что остается свободным - программа использует. Потому даже когда она использует 95% процессора, то она не должна влиять на другие программы. Они не будут подвисать. Разве что может понижатся скорость интернета.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение athlonix » 06 мар 2013, 19:07

Спасибо за ответы, еще вопрос, можно ли парсить рейтинг liveinternet? например любой из разделов или несколько по выбору или весь рейтинг сразу за 31 день без ключевых слов? и отдельно по ключевым словам. То же самое неплохо сделать касаемо: hotlog.ru/top, yaca.yandex.ua, list.mail.ru, top.mail.ru top100.rambler.ru, ведь сейчас программа требует ввести ключевое слово, а вытянуть список сайтов без поиска не выходит.
Аватара пользователя
athlonix
Постоялец
Постоялец
 
Сообщения: 178
Зарегистрирован: 06 апр 2011, 21:20

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 07 мар 2013, 12:02

athlonix писал(а):Спасибо за ответы, еще вопрос, можно ли парсить рейтинг liveinternet? например любой из разделов или несколько по выбору или весь рейтинг сразу за 31 день без ключевых слов? и отдельно по ключевым словам. То же самое неплохо сделать касаемо: hotlog.ru/top, yaca.yandex.ua, list.mail.ru, top.mail.ru top100.rambler.ru, ведь сейчас программа требует ввести ключевое слово, а вытянуть список сайтов без поиска не выходит.

Это все уже можно делать в программе. И даже эти профили Вы можете добавить сами!
Например на liveinternet адреса страниц имеют вид:



соответственно в профиль поиска liveinternet.ru в качестве адреса поиска можно вписать "http://www.liveinternet.ru/rating/index.html?page=[p]".
Как видим параметра [q] здесь нет (параметр с текстом поиска). Таким образом выбрав этот профиль можно ввести любой текст в окно поиска (просто чтоб программа дала искать. Сам текст учитыватся не будет) а программа спокойненько будет перелистывать страницы, вытаскивать ссылки, фильтровать их и т. д.

Так само list.mail.ru:



В профиль напишем: http://list.mail.ru/top100sites_[p].html

Так само можно зделать и другие профили. Только нужно еще определить признаки окончания результатов, определения на спам, первичный фильтр.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 07 мар 2013, 12:08

Вот мануал как самому создать профиль поисковика. С помощью его вы создадите профили и для liveinternet, и для других каталогов и поисковиков. В 3.2 версии есть только отличие в том, что в профиле поле "Кеш" теперь назівается "Первичный фильтр". Это по сути тоже самое, только теперь туда можно вписывать много фрагментов текста через запятую.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 07 мар 2013, 12:11

...например любой из разделов или несколько по выбору или весь рейтинг сразу за 31 день без ключевых слов?

Только для каждого раздела нужно будет настраивать свой профиль (копировать профиль и подправлять адрес поиска). Парсить весь рейтинг - тоже отдельный профиль.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 09 мар 2013, 21:48

Вот онлайновый мануал, подправленый для Butterfly 3.2 как создавать профили поиска.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение MaxiStiv » 09 мар 2013, 22:15

vbi, подскажите плиз, а зачем вобще профили поиска? На разных профилях по одному запросу найщет совершенно разные сайты? Просто не совсем понимаю принцип профилей. Спс.
Аватара пользователя
MaxiStiv
Постоялец
Постоялец
 
Сообщения: 156
Зарегистрирован: 19 ноя 2012, 10:33

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 09 мар 2013, 22:38

Разные профили - разные поисковики и каталоги. Один профиль перебирает выдачу поисковика Google, Второй - Яндекс, Третий - каталог DMOZ, четвертый - Liveinternet. Все эти поисковики и каталоги содержат разные ссылки. Чего нет в Яндексе, есть в DMOZ. Вообще смотря для каких задач использовать программу. Возможно Вам будет достаточно и Яндекса.
Вот например напишите свой сайт и будете там в новостях выкладывать самые прибыльные DLE сайты, а я напишу профиль для программы, который будет ваши новости перебирать и вытаскивать из них ссылки DLE :).
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 15 мар 2013, 22:18

Выложил детальную инструкцию по созданию профилей фильтрации.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 17 дек 2013, 17:42

Вот наконец вышла в свет beta версия Butterfly 4.0 (beta) http://bibyte.net/content/butterfly-40-beta.
В новой версии:

Изменен интерфейс программы. Предоставлена возможность использовать программу на нетбуках с небольшим разрешением экрана.
Реализована поддержка проверки локальных ссылок
Реализован вывод в лог ошибок при проверке сайтов
Добавлена возможность выводить в файл результатов ссылки с ошибкой проверки
Реализован механизм авторизации и получения дополнительных функций программы
Реализована защита IP через случайный прокси при парсинге
Реализован авточекер прокси
Возможность скрытия рекламы при наличии минимум одной дополнительной функции
Возможность не тестировать на работоспособность найденные ссылки (не фильтровать)
Изменен User-Agent
Возможность продолжения парсинга с того места где парсинг был прерван при следующем запуске программы
Возможность увеличения количества параллельных процессов до 300
Исправлена ошибка при работе с SSL
Исправлены и протестированы профили поиска и фильтрации
Исправлены мелкие ошибки


АКЦИЯ: Услуги прокси и увеличения количества параллельных процессов платные, но до 20.12.2013 будут доступны всем бессплатно.
Вот инструкция как подключить платные услуги: http://bibyte.net/butterfly/services.
При заказе минимум одной услуги показ рекламы прекращается.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение admin » 17 дек 2013, 22:21

Спасибо попробую.
Аватара пользователя
admin
Администратор
Администратор
 
Сообщения: 3779
Зарегистрирован: 14 июн 2008, 15:40

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение doradion » 02 янв 2015, 02:56

Некоторые фильтры поисковиков не работают((((

Как сбросить демо режим Web parser? Кто знает? 3 часа работает и вылетает((((
Аватара пользователя
doradion
Постоялец
Постоялец
 
Сообщения: 121
Зарегистрирован: 07 фев 2012, 19:52

Пред.След.

Вернуться в Флуд

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron