Реклама на сайте Advertise with us

Robochek - краулер robots.txt

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:



С нами с 02.03.10
Сообщения: 8

Ссылка на сообщениеДобавлено: 15/03/10 в 20:55       Ответить с цитатойцитата 

robocheck - программа для поиска информации в robots.txt на большом числе хостов.

robocheck:
- работает под Linux
- написан на C
- многопоточен
- не требует установки дополнительных библиотек

На вход принимает:
- файл с хостами с которых надо забрать robots.txt
- файл со строками которые надо искать в robots.txt
- количество потоков для работы
- таймаут на обработку одного хоста

На выходе выдает:
- файл с хостами и строками из robots.txt которые удалось найти
- файлы с хостами при обработке которых произошли те или иные ошибки

Изучаю будет ли спрос на такое предложение, возможно изменение краулера под ваши требования.
Цена договорная, со всеми вопросами и предложениями стучите 4-8-008-4-8

0
 



С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010


Передовик Master-X (16.03.2006) Передовик Master-X (01.04.2006) Передовик Master-X (16.04.2006) Передовик Master-X (01.05.2006) Передовик Master-X (01.11.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 15/03/10 в 22:17       Ответить с цитатойцитата 

нет, такое пишется на рнр в 10 строк средней руки кодером за пару часов по цене не дороже 10вмз

0
 



С нами с 02.03.10
Сообщения: 8

Ссылка на сообщениеДобавлено: 16/03/10 в 12:51       Ответить с цитатойцитата 

когда речь идет о промышленных масштабах слово "php" не уместно

0
 

Мотиватор :)

С нами с 06.05.09
Сообщения: 3028
Рейтинг: 607

Ссылка на сообщениеДобавлено: 16/03/10 в 13:29       Ответить с цитатойцитата 

gameover писал:

когда речь идет о промышленных масштабах слово "php" не уместно


кто-то основательно промыл вам мозги, уважаемый. icon_lol.gif

Just a signature.

0
 



С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010


Передовик Master-X (16.03.2006) Передовик Master-X (01.04.2006) Передовик Master-X (16.04.2006) Передовик Master-X (01.05.2006) Передовик Master-X (01.11.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 16/03/10 в 13:40       Ответить с цитатойцитата 

gameover писал:
когда речь идет о промышленных масштабах слово "php" не уместно


конечно, уместно включить мозг и решить задачу наименьшими ресурсами http://www.google.com/search?q=%22Disallow%3A+admin%22+filetype%3Atxt

0
 



С нами с 02.03.10
Сообщения: 8

Ссылка на сообщениеДобавлено: 16/03/10 в 14:02       Ответить с цитатойцитата 

alex.raven писал:
кто-то основательно промыл вам мозги, уважаемый. icon_lol.gif

хорошо что это были не вы, уважаемый icon_lol.gif

0
 



С нами с 02.03.10
Сообщения: 8

Ссылка на сообщениеДобавлено: 16/03/10 в 14:08       Ответить с цитатойцитата 

ibiz писал:
конечно, уместно включить мозг и решить задачу наименьшими ресурсами http://www.google.com/search?q=%22Disallow%3A+admin%22+filetype%3Atxt

ололо, включенный мозг скоро сведет задачу к "найти что-нибудь в каком-нибудь robots.txt"

0
 



С нами с 11.06.03
Сообщения: 1266
Рейтинг: 950


Передовик Master-X (01.01.2008)
Ссылка на сообщениеДобавлено: 16/03/10 в 14:25       Ответить с цитатойцитата 

Топик в рекламу, автора в бан.

По проге:
Такая прога сделанная под винду с супер 3Д интерфейсом, качественным звуком, между делом зарабатывающая на форексе пятьсот баксов в час может кого и заинтересовала бы.
Но любой кто знает что такое Linux сам напишет аналогичную на ПХП и не за пару часов, а за пол часа.

0
 



С нами с 02.03.10
Сообщения: 8

Ссылка на сообщениеДобавлено: 16/03/10 в 14:55       Ответить с цитатойцитата 

Sha писал:
Топик в рекламу

Перенесите плз, если ошибся разделом.

0
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор сайта

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »