Ищу энтузиаста, способного написать краулер.
Нажмите Вход или Регистрация если хотите участвовать в форумеФорумы RealBiker
Предыдущая Следующая Вверх Тема Жизнь на realbiker.ru / Техподдержка / Ищу энтузиаста, способного написать краулер. (10449 просмотров)
- - От Toxa (Руководитель проекта) Дата 2008-03-19 14:56 Исправлено 2008-06-02 16:03
Надо: написать краулер, бегающий по определенным сайтам и грабящий в свою базу инфу с этих сайтов. При этом, в базе надо суметь обработать дубли информации.
База - крайне желательно mysql, но в принципе пофигу - сам конвертну, лишь бы не экзотика кака-нить.
на чем писать - пофигу тем более, хотя предпочтительно на perl.

Денег за разработку не пообещаю - их просто нет, но если тема пойдет на коммерческой основе (перспективы очень хорошие), обещаю процент с дохода + еще одна разработка тонкого клиента.

По срокам - хотелось бы за лето уложиться с этим вопросом, с учетом всех альфа-тестирований..

89167927757 или в контакты.
Предшествующее - - От m0sko (зептоБайкер) Дата 2008-10-03 22:07
Не знаю, насколько это сейчас актуально, но здесь есть из чего выбрать:
http://freshmeat.net/search/?q=web+crawler&section=projects&Go.x=0&Go.y=0
Предшествующее - От Toxa (Руководитель проекта) Дата 2008-10-03 22:29
актуально. Погляжу, но очень сомнительно, что это то, что нужно..
Предшествующее - - От Toxa (Руководитель проекта) Дата 2008-10-04 00:38
Посмотрел, все не то. Интерес в том, чтобы получать уже частично обработанную инфу, а не дамп сайта. Дамп я и так сдеру тысячей разных способов...
Предшествующее - - От m0sko (зептоБайкер) Дата 2008-11-16 22:33
Нашел вот такую штуковину: http://combine.it.lth.se/

Combine is an open system for crawling [harvesting and threshing
(indexing)] Internet resources. It can be used both as a general and
focused crawler.

Написан на Perl-е, использует БД SQL.
Предшествующее - От Toxa (Руководитель проекта) Дата 2008-11-16 23:50
ага, пасиба, поставлю погляжу что это.
Предыдущая Следующая Вверх Тема Жизнь на realbiker.ru / Техподдержка / Ищу энтузиаста, способного написать краулер. (10449 просмотров)

Powered by mwForum 2.22.0 © 1999-2010 Markus Wichitill


Нашли что-то интересное или полезное? Поделитесь! =)

© Anton Chubchenko, 1999-2016


Автор не несет ответственности за использование информации и программ, содержащихся на ресурсе http://realbiker.ru.
Вся представленная информация является интеллектуальной собственностью автора(ов).
Недопустима публикация в сетях и иных источниках и/или коммерческое использование без согласия автора(ов).
По вопросам рекламы на сайте обращаться сюда.
Спонсорская поддержка сайта.
Яндекс цитирования