Роботс.тхт для Яху

В одном из топиков писал что Яху сокращает кол-во страниц проиндексированных.. похоже идет к бану или типа того.. с 500 страниц уже до 3-10 дошел на домене..

Единственное что приходит в голову это дать ему понять что страницы индексить все не надо, пусть хотя бы индекс будет.. доменов и поддоменов много, хоть какой то да будет толк..

Что из этого выйдет - не знаю.. может кто что подскажет.. и как правильно оформить это, думаю так:

User-agent: Slurp
Allow: /
Disallow: /*.html


Если у кого будут комментарии - буду благодарен.. ну и рейтинг как всегда

Кстати забыл написать, почему хочу оставить проиндексированной только первую страницу.. думаю одна из причин это большое кол-во страниц.. и их быстрый рост.. может поможет..

Привет. Насколько мне известно роботс пишеться под яндекс.

Почему? Вот - http://help.yahoo.com/help/us/ysearch/slurp/slurp-02.html

У меня яху хватает robots.txt как безумный, по несколько раз в день..

Zambrotta писал:

Насколько мне известно роботс пишеться под яндекс.

robots.txt пишется под все большие поисковики, в том числе и google и msn и yahoo

Сорри не знал. Думал что это яндекса фитча у гула ноиндекс или нофолоу. Жил по крайней мере с этим

нофолоу уже у всех поисковиков, инфа такая проскакивала

По ходу все под одни стандарты подстраиваются. Вебмастеруот этого только легче. Париться особо не нужно

роботс пишеца под все поисковики, только вот этим
Disallow: /*.html
ты запретишь индексацию вышеуказанному боту все файлы хтмл в корне, включая индекс. оно тебе надо?
может щаз у яхи апдейт сегмента базы куда твой сайт попал, вот он по новой всё индексирует, а так ты ваще яхе запретишь индексировать. имхо оставь как есть.

Ну а как же это?

http://help.yahoo.com/help/us/ysearch/slurp/slurp-02.html

Using Wildcard Match: '*'
A '*' in robots directives is used to wildcard match a sequence of characters in your URL. You can use this symbol in any part of the URL string that you provide in the robots directive.

Example of '*':

User-agent: Slurp
Allow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid


И вайлдакард, и Allow, и Disallow, в хелпе у Яху..

не то написал.. потерто.

ну что там не так?
там популярно расписано что зна * заменяет всё остальное и примеры запрета индексации страниц по маске, а так как ты сделал ты просто запретил индексацию всех хтмл паг в корне.

правила роботса для всех поисковиков одинаковые.

яха не хавает роботс как бешенный, просто чекает его и если ты его просто удалишь то нчё страшного не произойдёт.

> а так как ты сделал ты просто запретил индексацию всех хтмл паг в корне.


че так сурово то.. корень же я разрешил

Allow: /

корень да, но по ходу закрыл все хтмлы в корне, т.е. если у тебя там есть рнр или ещё чё, то всё ок, а вот хтмлы похерил.