Вопрос по GWT

Накосячил я значит с сайтмапом для нового сайта, и в него попали ссылки на галеры которых не существует, около 50к линок, и все это попало в GWT

Выглядит так:
http://dl.dropbox.com/u/5764925/Screenshots/vozh.png

Я уже 2 недели руками от туда удаляю по 1000, но почему-то он все равно продолжает добавлять и добаввлять их .. Сайтмап само собой пофиксил, и сделал ресабмит, но не помогло ...

Как вот дать гуглу понять чтобы он не индексил эти линки и вообще про них забыл, а то я затрахаюсь их удалять руками ?!

В файле robotx.txt
Disallow: /video/

а если я планирую через какое-то время добавить в индексацию лиунки вида:
http://domain.com/video/12341/cool-teen-doing-blowjob

будут ли они индексироваться ?

тогда косяк. Надо думать.
мой вариант непройдет

а структу папки поменять? video на videos
Вариант!

угу, спасибо !!! Так и сделаю

А чем мешают 404 в ГВТ?

Salis: есть предположение что из за этого сайт попал под временные фильтры, СЕ трафа нет, хотя должен быть

xDiver: ну гугл врятли теперь забудет про урлы, даже если сменить video на videos, также будет 404. Что если вместо 404 показывать 50x ошибку?

надо подождать посмотреть вариант что предложил vitamin

xDiver: отпиши как результат будет, интересно насколько 404 влияет на траф.

хорошо, но я думаю месяца через 2 после того как пропадет последняя ошибка в gwt можно будет ждать результат

что то не помогло с Disallow, все равно продолжают в еррор лог появляться линки на ранее спаршенные с сайтапа линки

есть еще варианты ? Готов заплатить за рабочее решение

подожди еще
а пока посмотри в стате сервера, обращался ли на эти url бот после изменений

да даже если и не обращался, чтобы удалить другие 30к записей понадобится месяц с лишним ... Почему долбанный гугл добавляет только по 1000 ссылок в еррорлог себе, а не сразу все ...

а ответ сервера сейчас точно 404?
еще как вариант на эти страницы сделать ответ 410 (страница удалена)

сейчас на эти линки выводится кастомная 404 страница

а что конкретно пишет GWT при нажатии на ошибку?
ну там где Сведения об ошибке, В файле Sitemap, Ссылающиеся домены
последние две вкладки интересуют

в сайтмапе он эти линки нашел. Я же писал выше, он сграбил с сайтмапа 40к ссылок на несуществующии галеры, и теперь раз в день или два добавляет в еррор лог по 1000 этих галер, и я их удаляю. Как удалю через день-два он следующии 1к добавит и т.д

значит у гугла скаченный мап закешировался, и по идеи пока он не пройдет его, исправленный мап не скачает
в таких случаях надо отлавливать когда и куда обращались гугл-боты, иначе остается только гадать

ну или через GWT API удалять пачками

как успехи в удалении 404?

https://www.master-x.com/articles/article/620

Цитата:

Чтобы удалить контент из индекса, нужно, чтобы мы смогли просканировать его и обнаружить тег «noindex» или 404/410 код состояния HTTP (или, к примеру, редирект и т.п.). Чтобы просканировать ссылку, она не должна быть запрещена ("not disallowed") через robots.txt file.

11-11-11: каждый день удаляю руками по 1к ошибок, осталось 12к, чуть меньше 2х недель
вот результат СЕ http://dl.dropbox.com/u/5764925/Screenshots/uzzk.png
так что моя теория что большое кол-во ошибок в GWT тем или иным способом влияют на индекс и ранжирование - скорее всего верна