Чем пропарсить индексацию Гугла?

На выходе Нужно 2 списка
1. Страницы сайта в индексе site:site.ru/
2. Страницы в выдаче site:site.ru/&

Хочу узнать какие страницы на сайте попали в сопли.
Кто что посоветует - софт, скрипты, сервисы, платное/ бесплатное.

По дефолту первый пункт тебе не нужен
пройдись любым пауком по сайту и все

sawaporn писал:

site:site.ru/&

Этот список можно взять в вебмастерсе если сайт статичнен (на протяжении хз какого времени, не проверял) в разделе внутренних ссылок (все что там есть это и есть страницы без соплей), если контент добавляется каждый день то в вебмастерс отстает с выводом информации конкрено.

Вообще причин соплей много и один из вариантов избавления от соплей: хорошая перелинковка или рандомный вывод материалов на всех страницах (это если влом замарачиватся, но тоже есть свои ньюаснсы и можно остаться вообще без трафа ) и в сопли идут только страницы попавшие уже конкретно под фильтр и дубли если такие есть

Почему мне не нужен 1й список ?
Чтобы понять какие страницы в соплях нужно из списка 1 вычесть спиок 2

karbonv писал:

пройдись любым пауком по сайту и все

Очень смешно - я вроде бы это и спрашивал, или мне паука с чулана достать?

karbonv писал:

Вообще причин соплей много

собственно именно для того чтобы понять природу соплей - нужно сначала знать какие страницы там оказались. Учитывая количество страниц несколько тысяч, вручную сделать это проблематично, поэтому я и спросил - есть ли инструменты.

sawaporn писал:

или мне паука с чулана достать?

Как раз в чулане и есть такой, паук с бородой

Ищи Xenu - это для сайта

По второму хз софт не попадался, самопис если много очень

Если страниц много и все в соплях и в губной помаде то тут считай или не считай, не поможет.

Как вариант я подсказал - нужна перелинковка, немного забегая на перед думаю что было так - была отгружена туча контента на сайт, при чем все сразу или очень быстрыми темпами, я тоже так делаю

Че я делал: рандом как описал выше + комментсы систиматичиски добавлялись, и на каждый комментс с профиля юзера вела ссылка (как на форуме)