Партнёрководам: собиралка с форумов

Подскажите, многоуважаемые
существует ли такая программулина:
- ведётся база форумов (мы её туда забиваем, а лучше экспортируется из экселя)
- всякие параметры по форумам можно вписать
- забить туда тему, которую сам создал, например, или просто добавить тему в отслеживаемые
- по запросу парсилась бы наша база и выходила наикрасивейшая табличка, где сколько ответов (и есть ли вообще), сколько просмотров и ещё чего-нибудь полезного

или писАть?

Эт прям по накрученности как бот Гугла.
Наверное и писать то еслиначнёте, то непонятного с какого боку к делу подойти...

google reader, не на всех форумах, правда доступны фиды.

В такой софтине однозначно нужна будет заточенность под конкртеные нужды, так что готовые варианты вряд-ли получится использовать.

Это ж сколько народа можно оставить без работы

Lang писал:

Эт прям по накрученности как бот Гугла. Наверное и писать то еслиначнёте, то непонятного с какого боку к делу подойти...

ну уж прям гуглбот... скорее сео-монитор
бок-то более или менее понятен, цели довольно конкретные... просто, видимо, нужно будет поизучать кроме стандартных движков ещё и самописные... а они бывают криввууущщщиииеее

Wahoven писал:

google reader, не на всех форумах, правда доступны фиды. В такой софтине однозначно нужна будет заточенность под конкртеные нужды, так что готовые варианты вряд-ли получится использовать. Это ж сколько народа можно оставить без работы

полезла изучать гугл ридер, забавная штука... много полезного, спасибо!
да, наверное готовое такое вряд ли найдётся...

на чём посоветуете писать? ява, скрипт... или прогу на С++/делфи?

Помоему серверный вариант был бы крайне удобен.
Думаю, что практически людой программер в состоянии осилить такой аггрегатор. Проблема скорее всего будет в том, что вы не сможете внятно изложить функционал который вам нужен.

Стоит начать с решения конкртеных задач: у вас есть 150 топиков за которыми нужно следить? дайте и программеру и скажите, что нужно автоматизировать процесс с перспективой разработки более функционального скрипта.

Оффтопик: Но это моё видение.

Wahoven писал:

Проблема скорее всего будет в том, что вы не сможете внятно изложить функционал который вам нужен.

обижаете)) у меня нет проблем с написанием ТЗ

скрипты давно научились засирать форумы, а не то что просто мониторить.
так что задача для программера простая, даже рутинная.

А какой масштаб проблемы? Отследить 10-50 форумов проще руками, а если счет идет на сотни, то возможно и стоит автоматизировать. Лучше попробовать готовые тулзы, типа Google Reader (сам не пробовал).

Возможно стоит попробовать Google custom searc engine, но там беда: Google очень бережливо индексирует Веб, и многие топики могут быть не проиндексированы.

PS. Если писать парсер, то серверный и на Php или Perl. Субд MySQL

Lady_www писал:

обижаете)) у меня нет проблем с написанием ТЗ

Не обижайтесь. Я не в смысле проблем с написанием ТЗ.
Пока с таким инструментом работать не начнешь, не будет понятно, что именно нужно.

есть самописная шняга на аяксе, но под свои форумы, тоесть нужно будет распарсивать под каждый форум по отдельности

kit писал:

А какой масштаб проблемы? Отследить 10-50 форумов проще руками, а если счет идет на сотни, то возможно и стоит автоматизировать.

Форумов только сейчас уже за 200 и дальше их количество будет только увеличиваться. Более того, их ещё и по странам нужно фильтровать.

Цитата:

PS. Если писать парсер, то серверный и на Php или Perl. Субд MySQL

Да, на пхп в итоге и решила. Спасибо.

ibiz писал:

есть самописная шняга на аяксе

ухтыухтыличка)))

Оффтопик: "овнер форума всем должен денег"

Последний раз редактировалось: Lady_www (17/01/10 в 03:35), всего редактировалось 1 раз

Lady_www писал:

Да, на пхп в итоге и решила.

А на основании чего принято такое решение? PHP не поддерживает многопоточность, а парсить 200 форумов в один поток...
Лично я бы лучше сделал десктопное приложение, не особо важно на чем. Ну а если все-таки серверная реализация, то надо смотреть в сторону C или Java.

Я бы так не стал делать.

Многопоточность организовать не проблема. Процессы в фоновом режиме и демон их контролирующий.
Если запускать приложение а десктопе, то коннект будет идти медленней, чем если с сервера в США.
И еще один аргумент: программеров на Php больше на этом форуме в разы, чем писателей на C или Java.
Чем проще, тем лучше имхо.

Ronald Wild писал:

PHP не поддерживает многопоточность...

вот это новость. многопоточность можно сделать на любом языке, где есть функция exec().
кстати под пхп есть удобная либа MultiCURL, которая сама прокачивает заданные урлы в нужное число потоков.

Ronald Wild писал:

Лично я бы лучше сделал десктопное приложение, не особо важно на чем. Ну а если все-таки серверная реализация, то надо смотреть в сторону C или Java.

походу ты просто не любишь пхп
на сервере это намного эффективнее, по любому шустрее будет.
к тому же результаты можно хоть с мобилы смотреть.

Ronald Wild писал:

А на основании чего принято такое решение?

Kit зрит в корень, на основании отличного пхп-программиста за соседним столом
Вообще это предварительное решение, ещё покопаемся с ним на днях в этих форумах, может, вылезет какая-нибудь штукенция, не подлежащая обработке через пхп. "Они такие разные..."

grozny, спасибо за подсказочку, передам прогеру

grozny писал:

вот это новость. многопоточность можно сделать на любом языке, где есть функция exec().

Да ну, несерьезно.

Цитата:

походу ты просто не любишь пхп

Кстати очень люблю, есть грешок
Просто, имхо, не совсем подходящий инструмент для данной задачи. Впрочем, дело хозяйское, я просто высказал свое мнение.

Lady_www писал:

на основании отличного пхп-программиста за соседним столом

Ну, если программер берется сделать все по уму, не вопрос.

Ronald Wild писал:

PHP не поддерживает многопоточность, а парсить 200 форумов в один поток...

На ajxe 200 раз через ява-скрипт дергнуть РНР скрипт и спокойно ждать ответы.

Cibtor, да не вопрос, все можно. Можно вообще ифреймами потянуть. Вопрос только в целесообразности таких костыльных решений, при том, что есть другие инструменты.