Запрещать в robots прямые ссылки на поисковые выдачи сайта?

Т.е. поисковые запросы на сайте в контексте URL выглядят так

Цитата:

/serch.php?q=keyword

Стоит ли в robots.txt запретить

Цитата:

Dissalow: /serch.php

?
Вобще когда есть смысл запета внутренних "переходов" для сохранения веса главной страницы?

S_Flash:

попробуй лучше сделать чтобы keyword прописывался в тайтл и в h1

Вобще вопрос в другом.

Цитата:

Disallow: /search.php?q= Disallow: /search.php

Мда, не в том месте я спросил!

Закрывай от индексации всё что ненужно для поисковой выдачи.

Вот пример стандартного роботса dle
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

Также теги и архивы календари факи это можно оставить для юзеров

Да я знаю как закрывать. Вопрос, что можно или нужно закрывать.

S_Flash писал:

Да я знаю как закрывать. Вопрос, что можно или нужно закрывать.

Поиск можно и нужно закрывать. Не зря его Blogger в своих блогах закрывает в robots.txt

если страница уже есть в гугле, то закрывать через robots.txt не надо. в этом случае необходимо добавить на эти страницы robots=noindex,follow

В противном случае (если страница уже в гугле) и добавлен этот урл в robots, в дальнейшем гугль будет хранить старую версию страницы и считать ее верной, так как не сможет скачать новую. Если таких страниц много - то придет в гости панда.

aaronmaster: Да но получается, что страница есть в базе гугла и с неё идут ссылки на главную через меню сайта, лого и т.д.. Оптимизируется главная страница. Или - не?!

тут нужно гуглю скормить новую версию этой страницы (если она на вашем хосте). Например через fetch as googlebot в google webmaster tools, потом проиндексировать ее там же.

Если не хочешь чтобы в будущем эта страница индексилась, то добавь на нее meta robots=noindex,follow

А главная страница тут не причем. Другое дело что если гуглю линк не понравится (касается НЕ внутренних ссылок), он может передать негатив на вашу главную.

Вообще, рекомендую отказаться от блокирования страниц посредством robots.txt, с гуглем, увы, этот файл перестал дружить. Он беспроблемно работает если был (в неизменном виде) с рождения сайта, а если были изменения - гугль сейчас хочет быть в курсе всего, что поменялось и так далее. Это ведет к тому, что если он не получит новую версию страницы - то могут быть санкции (в зависимости сколько таких страниц).

Это же касается и настройки URL Parameters в google webmaster tools.