Написал программку для поиска DLE сайтов, зацените!

Правила форума
В данном разделе можно общаться на абсолютно любые темы. Внимание! Реклама запрещена!

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 06 янв 2011, 01:58

Post scriptum писал(а):lsasheveb.narod.ru - вот это dle, хоть и на народе :smile: , а вот эти - maimisco.narod.ru , blinlongworr.narod.ru - нет :wacko:


Во всех 3-х сайтах в коде есть строка:

Код: Выделить всё
<!-- DataLife Engine Copyright SoftNews Media Group (http://dle-news.ru) -->


потому и определяет.

Однако только в lsasheveb.narod.ru сайте есть строчка:

Код: Выделить всё
<meta name="generator" content="DataLife Engine (http://dle-news.ru)" />
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение geograph » 06 янв 2011, 08:01

На народе DLE не может быть, это просто html-страницы сохраненные с DLE-движка
Аватара пользователя
geograph
Бывалый Постер
Бывалый Постер
 
Сообщения: 221
Зарегистрирован: 03 фев 2009, 07:07
Откуда: Мои инвестиции в ПАММ-счет форекс по ссылке ниже

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 06 янв 2011, 09:50

geograph писал(а):На народе DLE не может быть, это просто html-страницы сохраненные с DLE-движка

Нда... Какой смысл сохранять страницы с DLE движка?..
Почему не может, разве нельзя народовский домен перенаправить на какой-то другой сайт.
Так-же неужели нельзя главную страницу DLE сайта сделать какой-угодно? Неужели нельзя убрать список новостей, регистрацию и подделать по депозитфайлз?

Я понимаю, что мы не заинтересованы в таких "сохраненных" страницах. В следующих версиях можно добавить фильтр по именах сайтов. Но я вообще хотел сделать возможность изменять/добавлять критерии поиска, так, что можно будет не только DLE искать, но и что угодно (включая форумы) :)
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение pizdon » 06 янв 2011, 10:09

vbi писал(а):(включая форумы) :)

то что надо
Аватара пользователя
pizdon
Профессиональный постер
Профессиональный постер
 
Сообщения: 619
Зарегистрирован: 01 апр 2009, 10:09
Откуда: USSR

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Post scriptum » 06 янв 2011, 18:44

vbi ,стукни в аську - разберём
Аватара пользователя
Post scriptum
Опытный Постер
Опытный Постер
 
Сообщения: 302
Зарегистрирован: 16 ноя 2010, 15:27

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение geograph » 07 янв 2011, 05:48

vbi писал(а):
geograph писал(а):На народе DLE не может быть, это просто html-страницы сохраненные с DLE-движка

Нда... Какой смысл сохранять страницы с DLE движка?..
Почему не может, разве нельзя народовский домен перенаправить на какой-то другой сайт.
Так-же неужели нельзя главную страницу DLE сайта сделать какой-угодно? Неужели нельзя убрать список новостей, регистрацию и подделать по депозитфайлз?

Я понимаю, что мы не заинтересованы в таких "сохраненных" страницах. В следующих версиях можно добавить фильтр по именах сайтов. Но я вообще хотел сделать возможность изменять/добавлять критерии поиска, так, что можно будет не только DLE искать, но и что угодно (включая форумы) :)


на "народе" разрешено использовать только html, php не поддерживается, домен народовский перенаправить нельзя, только если редиректом или фреймом, но это все равно будет другой сайт, с другим адресом. Думаю проверять такие сайты можно по отсутствию файла index.php
Аватара пользователя
geograph
Бывалый Постер
Бывалый Постер
 
Сообщения: 221
Зарегистрирован: 03 фев 2009, 07:07
Откуда: Мои инвестиции в ПАММ-счет форекс по ссылке ниже

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 10 янв 2011, 23:23

Можно в параметрах поиска указать например -narod. В программе работают все фишки гугла, как например "точная фраза" -исключить ключ. слова и т.д.
В комплекте программы есть Руководство пользователя. Кто не читал, советую прочесть, узнаете что-то новое про программу может :)
В конце концов неужели так много сайтов с народом ищет?
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение geograph » 12 янв 2011, 16:19

Тогда придется составлять список запрещенных доменов, а иногда и обновлять его, потому-что narod.ru далеко не единственный бесплатный хостинг, который не поддерживает php. На мой взгляд правильнее все-таки проверять присутствие файла index.php (хотя конечно и его можно заменить, но скорее всего это будет встречаться редко). Вообще можно сразу скачивать страницу сайта, указывая не http://site.ru, а http://site.ru/index.php, и если ошибка, переходить к следующему сайту.
Аватара пользователя
geograph
Бывалый Постер
Бывалый Постер
 
Сообщения: 221
Зарегистрирован: 03 фев 2009, 07:07
Откуда: Мои инвестиции в ПАММ-счет форекс по ссылке ниже

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 12 янв 2011, 20:59

geograph писал(а):Тогда придется составлять список запрещенных доменов, а иногда и обновлять его, потому-что narod.ru далеко не единственный бесплатный хостинг, который не поддерживает php. На мой взгляд правильнее все-таки проверять присутствие файла index.php (хотя конечно и его можно заменить, но скорее всего это будет встречаться редко). Вообще можно сразу скачивать страницу сайта, указывая не http://site.ru, а http://site.ru/index.php, и если ошибка, переходить к следующему сайту.


Пока так, потом я дам возможность вручную устанавливать условия для поиска, и не одно, так что списки нк потребуются. Пока нет времени занятся программой
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Post scriptum » 12 янв 2011, 23:30

geograph писал(а):На народе DLE не может быть, это просто html-страницы сохраненные с DLE-движка

Верно...народ пока не поддерживает ни mysql , ни php , нужных для полноценной работы сайтов, про которые можно с уверенностью говорить что они основаны на cms dle. Так что для таких сайтов на народе приговор окончательный и обжалованию не подлежит - подделки и гс-ы :biggrin:
Аватара пользователя
Post scriptum
Опытный Постер
Опытный Постер
 
Сообщения: 302
Зарегистрирован: 16 ноя 2010, 15:27

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Xamileon » 14 янв 2011, 09:34

А возможно ли сделать программку, чтоб по полочкам разложила если дать ей большой список url"ов, где могут быть и сайты dle, и форумы vbulletin, php, ipb?
Xamileon
Постоялец
Постоялец
 
Сообщения: 127
Зарегистрирован: 09 авг 2009, 09:57

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 15 янв 2011, 17:18

Xamileon писал(а):А возможно ли сделать программку, чтоб по полочкам разложила если дать ей большой список url"ов, где могут быть и сайты dle, и форумы vbulletin, php, ipb?


Пока нет, но в планах :)

Сейчас думаю дополнительно включить проверку на php, чтобы исключить народи и прочие х.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение maksvel1993 » 15 янв 2011, 17:54

Есче маленькое предложение. Зделать в настройках возможность вибора действия программи :
- собирать сайти (без проверки на дле) только собрать все сайти видаваемие поисковиком ,
- проверять сайти на работоспособность,
- проверять на разние движки( когда будет реализировано ) для каждого движка своя галочка (тоесть надо юзеру только дле пускай ставить галку на дле надо phpbb3 пускай ставит галочку там и т.д).

p.s какие поисковики программа парсит, и парсит ли все страници со силками видаваемие поисковиками???

Спасибо за замечательную прогу ))))) :yahoo: :yahoo: :yahoo:
Аватара пользователя
maksvel1993
Постоялец
Постоялец
 
Сообщения: 120
Зарегистрирован: 13 ноя 2008, 23:10

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 15 янв 2011, 18:18

- собирать сайти (без проверки на дле) - если надо, сделаем
- проверять сайти на работоспособность, - сайты при поиске всегда проверяются, в противном случае увеличивается значение ошибок.
на движки - в планах

Ищет пока только по google
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение maksvel1993 » 15 янв 2011, 19:15

vbi писал(а):- собирать сайти (без проверки на дле) - если надо, сделаем

Било б замечательно.

vbi писал(а):- проверять сайти на работоспособность, - сайты при поиске всегда проверяются, в противном случае увеличивается значение ошибок.

Желательно сделать ето тоже галочкой (хочешь проверяй, хочешь собери все сайти и проверь в addnews).

vbi писал(а):Ищет пока только по google

в новой версии неплохо било б увидеть и яндекс или сделать так как описано снизу

также не большое пожелание сделать добавление поисковиков как в AGGRESSParser. Вибираем поисковик, составляем запрос, создаем тхт файл (С етим запросом), сохраняем файл, переименовываем файл в название поисковика, вибираем в настройках и вуаля программа ищет и в етом поисковике.
Аватара пользователя
maksvel1993
Постоялец
Постоялец
 
Сообщения: 120
Зарегистрирован: 13 ноя 2008, 23:10

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение суперский я » 15 янв 2011, 20:37

замечательная софтинка, автор молодец, заценил, спасибо. :good:
Аватара пользователя
суперский я
Наш человек
Наш человек
 
Сообщения: 1481
Зарегистрирован: 24 сен 2010, 10:37
Откуда: FilePost.com- максимальный заработок с продаж и неограниченные ребилы!

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 16 янв 2011, 14:04

Находил тут на форуме ссылку на прогу YandexParser
Вот только она сохраняет url как есть.
Т.е. в таком виде
http://www.site.ru/page2321/sdsadd--sdsasd
И сразу экспортировать сайты в addnews чтобы отсеить не dle не вариант
Ковырял инет не нашел проги чтобы она обработала список url

Все равно ссылку приходится просматривать в браузере, но если отслеить не dle сайты было бы быстрее.

Может кто подскажет разумное решение???
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 16 янв 2011, 14:31

Народ блин не пойму где количество проверок устанавливать в версии 2.0 ?
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 16 янв 2011, 14:39

To vbi
Советую след. версии проги делать shareware, потому что реально в сети проги лучше твоей нет... )))
Могу дать советы как продавать проги и сделать trial версию ))))

А вообще красава, супер, уважуха и респект за прогу :blush:

Хотя вот кто пользовался хрумером? Я видел что там в комплект входит парсер dle, кто пользовался как впечатления ???
Еще видел что есть чтото похожее в ПостНювс
Последний раз редактировалось Lytij 17 янв 2011, 09:10, всего редактировалось 2 раз(а).
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 17 янв 2011, 08:59

Предлагаю офигенную идею для поиска сайтов,
Практически для каждого счетчика есть топ рейтинги, топ-100 или еще как-то там они называются.
Так вот можно сделать парсинг страниц с ссылками.

Например заходишь на лив интернет в раздел музыка - _http://www.liveinternet.ru/rating/ru/music/
и делаеш парсинг всех страницы и отсеивание DLE - а их там огого 250 стрниц - тобиш более 7000 только музык. сайтов

VBE пож-та добавь в прогу фишку набодобие YandexParser, чтобы он мог прогонять содержание url и парсить все ссылки.
Чтобы лишнего не парсилось можно добавить фильтр, например на внутренние ссылки сайта (т.е. принадлежащие тому же адресу или домену на котором делается парсинг) ...
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение InSane » 17 янв 2011, 09:04

Когда будет парсинг разных движков, попрошу парсинг УРЛ из файла :)

Или придется самому писать...
Аватара пользователя
InSane
Обычный пользователь
 
Сообщения: 6948
Зарегистрирован: 29 июл 2008, 23:35
Откуда: http://podberisebe.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 17 янв 2011, 09:07

Кстати у гугла насколько я знаю есть SearchAPI и работать с ним можно как с Web-сервисом, без всяких каптч и банов. Или я ошибаюсь?
И почему не использовать яндекс заместо гугла, поиск был бы в программе в несколько сотен раз быстрее, да и сортировку можно легко делать не по PR а ТИЦ.
Даже если яндекс дольше гугла делает индесацию, я думаю что никто ведь не будет особо искать новости постеров сегодняшней даты?
У меня легко был поиск по новости и пользователю в яндексе порядка 600-800 сайтов - а рекламам была запущена месяц-два назад.
Но в парсере не было отсеивания по DLE CMS... :sad:
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 17 янв 2011, 09:11

Нашел фишку на форуме когда пишешь имя конкурента ПостНювс по англицки - сообщение сохраняется нормально, но при чтении на форуме оно заменяется на AddNews, вот это фича!!! :lol: :lol: :lol:
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 17 янв 2011, 14:01

maksvel1993 писал(а):также не большое пожелание сделать добавление поисковиков как в AGGRESSParser. Вибираем поисковик, составляем запрос, создаем тхт файл (С етим запросом), сохраняем файл, переименовываем файл в название поисковика, вибираем в настройках и вуаля программа ищет и в етом поисковике.


То есть для каждого поисковика свой запрос я так понял
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 17 янв 2011, 14:03

Lytij писал(а):Народ блин не пойму где количество проверок устанавливать в версии 2.0 ?


В 2.0 я ее убрал (для простоты понимания так сказать). Я понял что все ее тупо ставят 1000, и спрятал (с этим же значением). Если нужно, могу открыть
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 17 янв 2011, 14:06

Lytij писал(а):To vbi
Советую след. версии проги делать shareware, потому что реально в сети проги лучше твоей нет... )))
Могу дать советы как продавать проги и сделать trial версию ))))

А вообще красава, супер, уважуха и респект за прогу :blush:

Хотя вот кто пользовался хрумером? Я видел что там в комплект входит парсер dle, кто пользовался как впечатления ???
Еще видел что есть чтото похожее в ПостНювс


На счет шаровары я еще подумаю, может быть. Но пока думаю еще нет смысла. Вот ты версию 2.0 купил бы? И если да, то за сколько?
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение dim565 » 17 янв 2011, 14:23

Да, платная версия 2.0 не особо смотрится.
А в будущем, если добавить кучу полезностей - можно и платной сделать. Уверен, многие постеры купят
Аватара пользователя
dim565
Магистр
Магистр
 
Сообщения: 1114
Зарегистрирован: 02 окт 2010, 05:46
Откуда: RUS

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 17 янв 2011, 14:26

Lytij писал(а):Предлагаю офигенную идею для поиска сайтов,
Практически для каждого счетчика есть топ рейтинги, топ-100 или еще как-то там они называются.
Так вот можно сделать парсинг страниц с ссылками.

Например заходишь на лив интернет в раздел музыка - _http://www.liveinternet.ru/rating/ru/music/
и делаеш парсинг всех страницы и отсеивание DLE - а их там огого 250 стрниц - тобиш более 7000 только музык. сайтов

VBE пож-та добавь в прогу фишку набодобие YandexParser, чтобы он мог прогонять содержание url и парсить все ссылки.
Чтобы лишнего не парсилось можно добавить фильтр, например на внутренние ссылки сайта (т.е. принадлежащие тому же адресу или домену на котором делается парсинг) ...


На счет ТОП 100 - добавим в список подумать:)
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 17 янв 2011, 14:28

InSane писал(а):Когда будет парсинг разных движков, попрошу парсинг УРЛ из файла :)

Или придется самому писать...


Обясните подробней (или ткните), что такое парсинг УРЛ и как он работает, для сего он? Что делает Яндекс парсер? Я искал, разбирался но конкретно ничего не нашел, да и времени много нету.
И как из файла?
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 17 янв 2011, 14:31

Lytij писал(а):Кстати у гугла насколько я знаю есть SearchAPI и работать с ним можно как с Web-сервисом, без всяких каптч и банов. Или я ошибаюсь?
И почему не использовать яндекс заместо гугла, поиск был бы в программе в несколько сотен раз быстрее, да и сортировку можно легко делать не по PR а ТИЦ.
Даже если яндекс дольше гугла делает индесацию, я думаю что никто ведь не будет особо искать новости постеров сегодняшней даты?
У меня легко был поиск по новости и пользователю в яндексе порядка 600-800 сайтов - а рекламам была запущена месяц-два назад.
Но в парсере не было отсеивания по DLE CMS... :sad:


Позже я добавлю поиск по яндексу. Но по гугл уберать не буду. Некоторые сайты могут быть проиндексированы в одном поисковике, а в другом - нет :)
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение InSane » 17 янв 2011, 18:40

Есть файл, допустим, ТХТ.
1 строка = 1 сайт

Надо пропарсить, где какие движки и отсортировать.
Аватара пользователя
InSane
Обычный пользователь
 
Сообщения: 6948
Зарегистрирован: 29 июл 2008, 23:35
Откуда: http://podberisebe.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 19 янв 2011, 10:38

Программа постоянно добавляет ссылки вида

mp3.mp3.mp3.site.ru
или
www.www.www.www.www.site.ru

А также числовые IP

192.150.125.xxx

Причем если набрать этот ИП в url, то окажется что такой сайт уже есть в базе.
Это можно решить так, если это ИП адрес, то набрать через программу твою это адрес и вытянуть из сайта его url откуданибудь.

Или вообще переключатель - чекбокс поставить чтобы не добавлять в файл такие кривые url.
Например на ИП адрес можно регулярное выражение написать. Могу дать тебе его, я кажется для javcascript и php такую проверку писал чтобы левые ип не ввели в окно специальное для списка.
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 19 янв 2011, 10:42

Еще касяк разделение поисковых фраз нельзя делать ЗАПЯТОЙ!
Т.к. есть новости содержащие запятую.
Разделителем нужно делать либо спец символ, либо комбинацию символов.

Можно ; но все равно не айс.

Лучше что то типа @%@ уж с тиким заголовком новости врядли будут искаться.

Да и баг намбер оне как я писал - это проблема с кодировкой при загрузке списка поиска из файла.
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 19 янв 2011, 13:51

Lytij писал(а):Нашел серьезный баг!

Создаю в Far Manager'e тектовый файл, в него с новой строки пишу условия поиска - это у меня

Название Новости 1 Имя пользователя
Название Новости 2 Имя пользователя

Название новости у меня содержит кириллицу, так вот во время поиска прога пишет в строке "Поиск:" каракули и видимо по этим же каракулям и ищет.
Пробовал менять кодировку с WIN1251 на DOS(866) - это клавиша F8 в fare - не помогает.
Пробовал через блокнот - тоже не помогло.

Вот пример из лога

2011.01.17 - 15:57:16 Поиск: VA - ‡¨¬­¨© Sms Dance Hit (2010) centrovoy
2011.01.17 - 15:57:16 Поиск: VA - ‡ ã«ñ¬ ®¢ë© ƒ®¤ 50x50 (2010) centrovoy

Вопщем от поиска из файла пришлось отказаться.

Вышли свой файлик с ключевиками или выложи на ФО и кинь сюда ссылку
Lytij писал(а):Парсинг урл из файла может быть 2х видов:

1) Имеется файл со списком url нужно просто пробежать сайты и определить какие dle.

2) Имеется файл со списком url, а твоя прога берет каждый url из списка открывает его в своем встроенном броузере - который может даже и не быть виден на экране, и смотрит все ссылки на странице загруженной какие из них DLE (или другие CMS). Т.е. сейчас ты сам в проге ищещь страницы поиска, благодаря условию поиска, а так бы тебе можно было подать url готовый и его обработать.

Результат парсинга пишет в отдельный файл. Задача 1 тривиальная.
Задача 2 посложнее, но зато получится конфетка. И с ее помощью можно будет парсинговать ссыылки на сайты TOP-100 от рамблема, liveinternet. Также сюда можно подать страницы другого поисковика. Таким образом далее ты даже можешь автоматизировать поиск по любому поисковику.
Парсер любой страницы есть досточно сформировать url для поисковика.

Добавлю в список работ 2 вещи:
1. Сам парсинг урлов из файла
2. Обработка ссылок в иерархии 1 уровня (тоесть поиск DLE среди ссылок из найденных сайтов или не поиск а просто выгрузка, проверка работоспособности и т д). Тогда это можно будет применять и к списку урлов из файла (как ты написал в П.2) и к найденным сайтам в поисковике.
Lytij писал(а):И лучше бы делать яндекс поиск, т.к. гугл и яндекс отличаются спецификацией поиска, помню что когда изучал работу поисковиком, когда занимался SEO, т.е. оптимизацией сайта для поисковика, пришел к выводу, что яндекс ищет определенный маленький кусочек в огромном тексте, а гугл наоборот. И вместе они друг друга дополняют. А нам ведь надо искать не обширную инфу, а название новости плюс имя юзера...
Но все равно нужно использование и того и того, т.к. ты верно сказал что один индексирует, то другой не индексирует, плюс яндекс, индексирует новости в раз 10-50 дольше чем гугл.

Яндекс я добавлю. Зачем убирать гугл, если он работает?
Lytij писал(а):Насчет edit'a с количеством проверок зря убрал, очень очень нужна для поиска сразу по неск. запросам.
Предлагаю закладку новую просто добавить - назвать настройки поиска, или просто настройки туда и повесить всякие прибамбасы, а для простоты тут и так проще некуда, просто при наведении мыши подсказку писать, или над самими полем примечание написать для чего она. Так как вещь полезная.
Надпись сделать не - "Количество проверок", а дополнить "Количество проверок на ключевое слово".

Верну, надпись переименую
Lytij писал(а):Правда я сам не догоню как ты ищещь.
Если я напишу один запрос в 5 слов и количество проверок у тебя 1000.
То что у тебя будет хоть и запрос 1 но все равно количество проверок 5000, тобиш по 1000 на каждое слово.
Или же эта 1000 проверок для каждого отдельного запроса и пофиг скока слов в запросе?

один запрос - это набор слов, слева и справа отделены запятыми (или переходом на новую строку). Для такого запроса делается 1000 проверок. Хотя там еще есть нюансы (не помню надо посмотреть от чего оно зависит)
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 19 янв 2011, 13:58

Lytij писал(а):Программа постоянно добавляет ссылки вида

mp3.mp3.mp3.site.ru
или
http://www.www.www.www.www.site.ru

А также числовые IP

192.150.125.xxx

Причем если набрать этот ИП в url, то окажется что такой сайт уже есть в базе.
Это можно решить так, если это ИП адрес, то набрать через программу твою это адрес и вытянуть из сайта его url откуданибудь.

Или вообще переключатель - чекбокс поставить чтобы не добавлять в файл такие кривые url.
Например на ИП адрес можно регулярное выражение написать. Могу дать тебе его, я кажется для javcascript и php такую проверку писал чтобы левые ип не ввели в окно специальное для списка.


Так уж проиндексировал гугл криво. Возможно некоторые сайты специально делают такое количество субдоменов чтоб выделится. Я как-то проверял такой сайт, и http://www.www.www.www.www.site.ru перенаправлял на ту же страничку что и http://www.site.ru

Хорошо, поставлю в список задач проверку равенства таких субдоменов. Так же поиск ИП в найденном списке
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 19 янв 2011, 14:04

Lytij писал(а):Еще касяк разделение поисковых фраз нельзя делать ЗАПЯТОЙ!
Т.к. есть новости содержащие запятую.
Разделителем нужно делать либо спец символ, либо комбинацию символов.

Можно ; но все равно не айс.

Лучше что то типа @%@ уж с тиким заголовком новости врядли будут искаться.



А ты видел как исчет гугл? Даже если ты напишешь поиск точной фразы, то результаты поиска "Новость постера" и "Новость, постера" ни чем отличатся не будут. Так что если в новости есь запятые, можеш смело их убирать и вставлять в поиск

Lytij писал(а):Да и баг намбер оне как я писал - это проблема с кодировкой при загрузке списка поиска из файла.

Вышли такой файлик, я протесчу
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 19 янв 2011, 18:32

vbi писал(а):А ты видел как исчет гугл? Даже если ты напишешь поиск точной фразы, то результаты поиска "Новость постера" и "Новость, постера" ни чем отличатся не будут. Так что если в новости есь запятые, можеш смело их убирать и вставлять в поиск

Извиняюсь тупанул!!!

Насчет файла в скором времени выложу. Сейчас временно занят )))
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 19 янв 2011, 23:30

Вот два файла, первый пытаюсь проверять, пишет поиск с каракулями и сразу пропускает его, т.е. моментально пишет поиск завершен, хотя в файле одна строка поиска.
Второй файл - там туже новость первую пропускает, и начинает вторую парсить тоже с краказябами.
Вопщем это полюбому кодировка, а может просто в компоненте label-заголовке печатаются каракули, хотя фраза поиска явно не в unicod'е написана.
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 24 янв 2011, 13:55

Lytij писал(а):Вот два файла, первый пытаюсь проверять, пишет поиск с каракулями и сразу пропускает его, т.е. моментально пишет поиск завершен, хотя в файле одна строка поиска.
Второй файл - там туже новость первую пропускает, и начинает вторую парсить тоже с краказябами.
Вопщем это полюбому кодировка, а может просто в компоненте label-заголовке печатаются каракули, хотя фраза поиска явно не в unicod'е написана.


Твои файлы открылись у меня с кракозябрами. Самое странное, что после твоих файлов у меня все начали открыватся с кракозябрами (хотя раньше такого не было) :wacko: .

Программа отображает кракозябры и ищет тоже их)). Уже исправил. Будет в новой версии.
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение maksvel1993 » 24 янв 2011, 21:36

vbi небольшое пожелание. Очень неудобно когда обрабативаешь много ключевиков, если можешь сделай удаление обработанных ключевих слов. Т.е. запрос по слову программа обработала и удалила ето слово из файла.
Аватара пользователя
maksvel1993
Постоялец
Постоялец
 
Сообщения: 120
Зарегистрирован: 13 ноя 2008, 23:10

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение vbi » 29 янв 2011, 20:00

maksvel1993 писал(а):vbi небольшое пожелание. Очень неудобно когда обрабативаешь много ключевиков, если можешь сделай удаление обработанных ключевих слов. Т.е. запрос по слову программа обработала и удалила ето слово из файла.

Не вопрос :) :drinks:
Аватара пользователя
vbi
Постоялец
Постоялец
 
Сообщения: 128
Зарегистрирован: 21 дек 2010, 10:13
Откуда: Украина, Луцк

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение maksvel1993 » 29 янв 2011, 21:26

vbi писал(а):
maksvel1993 писал(а):vbi небольшое пожелание. Очень неудобно когда обрабативаешь много ключевиков, если можешь сделай удаление обработанных ключевих слов. Т.е. запрос по слову программа обработала и удалила ето слово из файла.

Не вопрос :) :drinks:

Спс. Будем ждать обнову.

С меня пиво )))) :drinks:
Аватара пользователя
maksvel1993
Постоялец
Постоялец
 
Сообщения: 120
Зарегистрирован: 13 ноя 2008, 23:10

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение pervolix » 30 янв 2011, 11:34

pizdon похоже это то что ты хотел. Тут phpBB есть, правда прога типа демо.
Аватара пользователя
pervolix
Наш человек
Наш человек
 
Сообщения: 2254
Зарегистрирован: 24 июн 2008, 03:08

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение admin » 31 янв 2011, 18:44

В топике не флудить!
Аватара пользователя
admin
Администратор
Администратор
 
Сообщения: 3779
Зарегистрирован: 14 июн 2008, 15:40

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij_ » 31 янв 2011, 19:01

Вопрос админу на каких условия можно разместить прогу в разделе полезный софт для постеров,
что убрать что добавть в проге?
Аватара пользователя
Lytij_
Наблюдатель
Наблюдатель
 
Сообщения: 2
Зарегистрирован: 31 янв 2011, 18:14
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение admin » 31 янв 2011, 19:09

Программа должна быть проверена нами на безопасность. Программа должна быть бесплатной.
Аватара пользователя
admin
Администратор
Администратор
 
Сообщения: 3779
Зарегистрирован: 14 июн 2008, 15:40

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij_ » 31 янв 2011, 19:16

Даже сейчас при работе в демо - она работает неограниченное количество времени. Т.е. тот же free практически.
Ок я выкину все кнопки которые блокируются от платной версии и оставлю то что в бесплатной.
Естественно это будет в новой версии проги, там придумал еще один механизм поиска как сделаю пришлю на проверку.
Аватара пользователя
Lytij_
Наблюдатель
Наблюдатель
 
Сообщения: 2
Зарегистрирован: 31 янв 2011, 18:14
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 05 фев 2011, 03:13

admin писал(а):Программа должна быть проверена нами на безопасность. Программа должна быть бесплатной.


Вот как и обещал. Последний релиз FreeWare версии моей программы, посмотрите есть ли возможность опубликовать ее на вашем сайте ? :pleasantry:
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение Lytij » 05 фев 2011, 17:48

Блин жесть забыл ссылку выложить :rofl: :rofl:
Аватара пользователя
Lytij
Наблюдатель
Наблюдатель
 
Сообщения: 27
Зарегистрирован: 15 дек 2010, 01:42
Откуда: http://cybermake.ru

Re: Написал программку для поиска DLE сайтов, зацените!

Сообщение InSane » 05 фев 2011, 17:53

Да нет, ее модеры потерли, я утром ее видел, на летит была...
Аватара пользователя
InSane
Обычный пользователь
 
Сообщения: 6948
Зарегистрирован: 29 июл 2008, 23:35
Откуда: http://podberisebe.ru

Пред.След.

Вернуться в Флуд

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron