Реклама на сайте Advertise with us

Как пропарсить список сайтов нв наличие кода в страницах?

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:

нет судьбы

С нами с 27.03.03
Сообщения: 4427
Рейтинг: 4204


Передовик Master-X (16.07.2011) Передовик Master-X (16.10.2011) Передовик Master-X (01.11.2011) Передовик Master-X (16.11.2011) Передовик Master-X (01.01.2012) Ветеран трепа Master-X (16.02.2012)
Ссылка на сообщениеДобавлено: 15/12/10 в 00:13       Ответить с цитатойцитата 

Например есть 2 доменов.
Хочется проверить наличие на них вхождения строки текста. Естественно на всех страницах сайта.

®

0
 



С нами с 03.03.06
Сообщения: 202
Рейтинг: 144

Ссылка на сообщениеДобавлено: 15/12/10 в 17:24       Ответить с цитатойцитата 

ну как, надо выкачать сайт wget -m потом парсим все подряд хтмл файлы в папке с зеркалом

оплата Paypal | предоплаченные карты Visa US

0
 



С нами с 20.01.03
Сообщения: 18003
Рейтинг: 9760


Передовик Master-X (01.03.2005) Передовик Master-X (16.03.2005) Передовик Master-X (16.10.2016) Передовик Master-X (01.11.2016) Передовик Master-X (16.11.2016) Ветеран трепа Master-X (01.12.2016)
Ссылка на сообщениеДобавлено: 15/12/10 в 17:58       Ответить с цитатойцитата 

можно научить пхп-паучка обойти все попавшиеся внутренние ссылки, не такой уж большой алгоритм

0
 

нет судьбы

С нами с 27.03.03
Сообщения: 4427
Рейтинг: 4204


Передовик Master-X (16.07.2011) Передовик Master-X (16.10.2011) Передовик Master-X (01.11.2011) Передовик Master-X (16.11.2011) Передовик Master-X (01.01.2012) Ветеран трепа Master-X (16.02.2012)
Ссылка на сообщениеДобавлено: 16/12/10 в 00:17       Ответить с цитатойцитата 



А готового такого паучка нет?
Поисковые системы под это дело запрячь никак нельзя?

®

0
 



С нами с 29.07.03
Сообщения: 682
Рейтинг: 440

Ссылка на сообщениеДобавлено: 16/12/10 в 01:48       Ответить с цитатойцитата 

В ручную переписать хтмл сайта еще никто не советовал?:-))

Вячеслав, у админов узнай, в юниксе есть поиск по файлу, напиши код (что искать) и они напишут команду, просканишь из шела свой сайт.

UPD: типа этого имелось ввиду http://linux-ru.blogspot.com/2006/12/find-linux.html
А еще можно углубиться и искать в скамих страницах по расширению опр. код.

0
 



С нами с 06.10.06
Сообщения: 964
Рейтинг: 742

Ссылка на сообщениеДобавлено: 16/12/10 в 19:18       Ответить с цитатойцитата 

allchange писал:
ну как, надо выкачать сайт wget -m потом парсим все подряд хтмл файлы в папке с зеркалом


Ну это если сайт чужой ))
а если он свой и лежит на твоем сервере то зачем его тянуть вгетом, логинся по ssh и grep -Ri 'что искать' *

MyPublicDreams.com - Exclusive public paysite.

0
 



С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010


Передовик Master-X (16.03.2006) Передовик Master-X (01.04.2006) Передовик Master-X (16.04.2006) Передовик Master-X (01.05.2006) Передовик Master-X (01.11.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 16/12/10 в 20:08       Ответить с цитатойцитата 

adminZ писал:
Ну это если сайт чужой ))
а если он свой и лежит на твоем сервере то зачем его тянуть вгетом, логинся по ssh и grep -Ri 'что искать' *


smail101.gif
попробуй на wp сайте, к примеру, такое проделать, уверен результат будет отрицательным smail101.gif

0
 

нет судьбы

С нами с 27.03.03
Сообщения: 4427
Рейтинг: 4204


Передовик Master-X (16.07.2011) Передовик Master-X (16.10.2011) Передовик Master-X (01.11.2011) Передовик Master-X (16.11.2011) Передовик Master-X (01.01.2012) Ветеран трепа Master-X (16.02.2012)
Ссылка на сообщениеДобавлено: 16/12/10 в 20:16       Ответить с цитатойцитата 

Да, дело в том, что некоторые куски html кода могут быть в базе данных или в каких-либо хитрых темплейтах..

®

0
 



С нами с 06.10.06
Сообщения: 964
Рейтинг: 742

Ссылка на сообщениеДобавлено: 17/12/10 в 03:31       Ответить с цитатойцитата 



запусти
cd /
grep -Ri 'что искать' *
(тоесть и в базах и вобще на всем винте)
если гдето есть то найдет

MyPublicDreams.com - Exclusive public paysite.

0
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »