Robots.txt под KVS

Помогите правильно составить роботс.тхт под данный движок. Заранее благодарен

Неужто никто не поможет?

А в тех саппорт к ним обратиться, неужели не помогут?
Или как вариант найти уже готовые сайты на KVS и глянуть robots.txt у них.

зачем огород городить?

Что там не так, чтобы под этот двиг. должен быть свой robots

Использую такой robots для тьюбов на KVS:

Код: [развернуть]

User-agent: * Disallow: /tags/ Disallow: /get_file/ User-agent: Baiduspider Disallow: / User-agent: ia_archiver Disallow: / User-agent: duggmirror Disallow: /

robots.txt для квс тут особо непричем, если уж задались целью закрыть от индексации технические зоны, то тут просто принцип знать и не важно какой скрипт

вообще гугл подскажет, посмотри что у него в индексе по твоему сайту, и что не надо - закрой, я так делаю

Спасибо, бро
уже /js/ и /admin/ закрыл

paradox: пожалуйста

теги стоит закрывать от индексации?

paradox: попробуй уникализировать тэги

или канонический тэг поставить на них

Sergeyka писал:

paradox: попробуй уникализировать тэги или канонический тэг поставить на них

Спасибо

Sergeyka писал:

paradox: попробуй уникализировать тэги или канонический тэг поставить на них

Канонический тег должен ссылаться на первоисточник. Его не добавляют в список параметров тега A. Как его можно добавить к тегам?

HST писал:

Использую такой robots для тьюбов на KVS: Код: [развернуть] User-agent: * Disallow: /tags/ Disallow: /get_file/ User-agent: Baiduspider Disallow: / User-agent: ia_archiver Disallow: / User-agent: duggmirror Disallow: /

А теги зачем блокировать?

MadDok писал:

А теги зачем блокировать?

дык тэги в простом варианте - куча дублированного контента

Sergeyka писал:

дык тэги в простом варианте - куча дублированного контента

просто как бы вижу в топе очень много тубов. именно с такими тэгами и там ничо не закрыто, вот и интересно стало.

Тоже считаю странным всякого рода теории, когда в топе есть опровержения..
ХЗ, одни плодят теги, чтоб увеличить кол-во страниц, другие закрывают. Как на мой взгляд, всё это туфта. Такая оптимизация появляется на форумах, где ищут любой предлог в оправдание плохой трастовости сайта. Напоминает анекдот про автомобиль "а ты фары тряпочкой протирал по часовой стрелке?".. Больше всего такой хуйни моджно начитаться на сёрчэнжайне.
Если представить гугл в образе рободьявола, то он читая всю эту хуйню смеялся бы во все зубы - "Тэги, шмэги.. - сайт свежий, домен - гавно, конкуренты уже с жиру лезут от внешних ссылок и статсам. Я бы и рад тебя брат впихнуть, но уже некуда! Все места разобрали!". А Мед Кэтс придуиывает всякие мудаческие видео ролики, чтоб вебмастеров было чем занять. (Бля ну ведь там 99% очевидные вещи!) А смысл один: сайт не интересен пользователю + ссылочная масса слабая в сравнении с конкурентами и хуй тут напаришь бота!