Реклама на сайте Advertise with us

Парсинг любых сайтов на php/curl, nodejs/phantomjs

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:



С нами с 25.12.14
Сообщения: 602
Рейтинг: 441


Передовик Master-X (16.04.2017) Передовик Master-X (01.05.2017) Передовик Master-X (16.05.2017) Передовик Master-X (01.06.2017)
Ссылка на сообщениеДобавлено: 15/11/16 в 02:50       Ответить с цитатойцитата 

Пишу парсеры/грабберы сайтов на php/curl и nodejs/phantomjs с веб-интерфейсом и без.

Возможности:

пасринг открытых сайтов и требующих авторизации в т.ч.
решение капчи через anti-captcha.com(1$ за 1000 капч)
phantomjs выполняет любые js скрипты и редиректы как нативный браузер, сайт не поймет что его парсят.
работа через прокси, мультипоточность.
cron like настройка периодичности парсинга.
выгрузка видео, аудио, картинок
веб интерфейс
данные сохраняются в mysql/sqlite/mongodb/txt etc.
api для ваших приложений, выдаем данные в json/xml etc.
экспорт данных в сторонние сервисы по api.
email/sms уведомления.
запуск на сервере или локально.


а так же автопостинг, авторегеры и т.д.

подробности в л.с.

Последний раз редактировалось: dizziness (16/01/17 в 22:42), всего редактировалось 2 раз(а)

Экскурсии в Праге 2018

0
 



С нами с 25.12.14
Сообщения: 602
Рейтинг: 441


Передовик Master-X (16.04.2017) Передовик Master-X (01.05.2017) Передовик Master-X (16.05.2017) Передовик Master-X (01.06.2017)
Ссылка на сообщениеДобавлено: 17/11/16 в 02:20       Ответить с цитатойцитата 

Простейший пример, скрипт сбора ключей с любых tube/tgp сайтов icon_cool.gif

Элементарная настройка, работает на любой платформе win/linux/mac.

нужны только три параметра:

1. начальная страница.
2. кнопка next page
3. xpath элемента содержащего keyword

видео с забойной музыкой(проверьте уровень громкости) trollface.png

Экскурсии в Праге 2018

0
 



С нами с 13.06.03
Сообщения: 629
Рейтинг: 469

Ссылка на сообщениеДобавлено: 06/01/17 в 15:02       Ответить с цитатойцитата 

Заказал у ТС несложный парсер. Впечатления только положительные. Работу выполнил очень быстро, все в итоге работает так, как я хотел.

3
 

Только найк и хардбасс!

С нами с 17.09.04
Сообщения: 590
Рейтинг: 1060

Ссылка на сообщениеДобавлено: 15/01/17 в 07:21       Ответить с цитатойцитата 

все сделал хорошо как нужно, даже лучше.
ставлю лайк icon_biggrin.gif

drink hard go pro

3
 



С нами с 10.02.08
Сообщения: 11
Рейтинг: 37

Ссылка на сообщениеДобавлено: 16/01/17 в 12:40       Ответить с цитатойцитата 

Заказал парсер, все сделано как заказывал и работает как надо, советую smail54.gif

3
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор сайта

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »