Реклама на сайте Advertise with us

Нужно написать десктопный парсер google

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:



С нами с 02.04.09
Сообщения: 72
Рейтинг: 11

Ссылка на сообщениеДобавлено: 07/01/10 в 11:47       Ответить с цитатойцитата 

Простой.
ICQ: 597299116

0
 



С нами с 26.09.07
Сообщения: 4
Рейтинг: 3

Ссылка на сообщениеДобавлено: 07/01/10 в 13:01       Ответить с цитатойцитата 

Парсинг результатов поиска?
Есть расширение под firefox для выдачи позиции сайта в поисковике. Интересует?

3
 



С нами с 02.04.09
Сообщения: 72
Рейтинг: 11

Ссылка на сообщениеДобавлено: 07/01/10 в 13:38       Ответить с цитатойцитата 

Скрипт следующий. Я забиваю в парсер запрос, парсер проходит по первой тысяче результатов выдачи и собирает страницы с нужным мне PR. В скрипте должна быть строчка типа: "Собрать страницы с PR от 0 до 10"
0 и 10 это выпадающие ячейки, как рейтинг на мастере, где я мог бы выбрать нужный мне диапазон ПР. Допустим 0-2 или 3-5. Потом нужные мне страницы парсер должен сохранять в блокнот.

0
 

>100 сайтов вебкам. ссылки.

С нами с 31.03.08
Сообщения: 2372
Рейтинг: 3463


Передовик Master-X (16.12.2016) Передовик Master-X (01.01.2017)
Ссылка на сообщениеДобавлено: 07/01/10 в 14:41       Ответить с цитатойцитата 

another hornet, сразу могу тебе сказать, что такой парсер будет работать медленно. если проверять пр разных страниц, не делая между проверками определенные паузы, гугл в течение нескольких минут забанит твой IP на 2-3 часа.
имей это в виду, когда будешь составлять ТЗ для прогера.

Продвижение сайтов в GOOGLE.COM и GOOGLE.DE. ICQ в профиле.

3
 



С нами с 02.04.09
Сообщения: 72
Рейтинг: 11

Ссылка на сообщениеДобавлено: 07/01/10 в 15:00       Ответить с цитатойцитата 

Спасибо, я учту.

0
 



С нами с 01.09.09
Сообщения: 132
Рейтинг: 100

Ссылка на сообщениеДобавлено: 07/01/10 в 15:10       Ответить с цитатойцитата 

sergio21 писал:
гугл в течение нескольких минут забанит твой IP на 2-3 часа.

В подписи можно выделенные ip купить за недорого

VPN с наворотами

3
 



С нами с 03.12.09
Сообщения: 18
Рейтинг: 8

Ссылка на сообщениеДобавлено: 07/01/10 в 17:27       Ответить с цитатойцитата 

попробую угадать ТЗ icon_smile.gif

используются стандартные компоненты C++/C#/Builder/Dephi/etc

грабинг гугля, парсинг -> результаты -> проверка с базой (нет ли недавно проверяшегося) -> обращение к датацентру гугла через колдунство с формулой ch - > сохранение результата в базу -> сверка -> вывод на экран/файл с определенной маской


и все это многопоточно или

а) на списке проксей загружаемых из какого либо источника в сети/локального файла (настраиваемо)
б) через грабинг и отбор рабочих с ряда сайтов (настраиваемо)

с отображением хода процесса и кол-вом рабочих проксей.

база текстовая

на выходе

исходники включая дистрибутивы компонентов + standalone билд без зависимостей от компонентов/библиотек

3
 



С нами с 26.10.02
Сообщения: 151
Рейтинг: 148

Ссылка на сообщениеДобавлено: 09/01/10 в 19:38       Ответить с цитатойцитата 

another hornet писал:
Скрипт следующий. Я забиваю в парсер запрос, парсер проходит по первой тысяче результатов выдачи и собирает страницы с нужным мне PR. В скрипте должна быть строчка типа: "Собрать страницы с PR от 0 до 10"
0 и 10 это выпадающие ячейки, как рейтинг на мастере, где я мог бы выбрать нужный мне диапазон ПР. Допустим 0-2 или 3-5. Потом нужные мне страницы парсер должен сохранять в блокнот.

ну тысячу результатов гугль фиг кому покажет, но если начать вариации разные и т.д. - то можно приблизиться - только кучу проксей нужно будет для многопоточного парсера, или дофига времени - чтобы гугль не банил ипшки. То же самое и с проверкой на ПР.

если эти нюансы понятны - то можешь в ПМ отписать поговорим о ТЗ и о цене.

3
 



С нами с 02.04.09
Сообщения: 72
Рейтинг: 11

Ссылка на сообщениеДобавлено: 09/01/10 в 19:54       Ответить с цитатойцитата 

Спасибо, мне уже написали.

0
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор сайта

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »