Блогеры какие robots.txt на WP используем?

У меня такой

User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /date/
Disallow: /comments/
Disallow: /?*
Disallow: /?ref=*


Бытует мнение что гугль знает структуру блогов + тег каноникал и он всё логично для себя индексит и отличает дубль от базовой записи. Что типо не стоит выёживаться. Но тот же All in one seo предлаагет архивы и теги закрыть, на счёт закрытия категорий явно перебор...

просто удебись что нет дублей, у меня категории открыты, но пейджинг закрыт. фиды тоже закрыты (их даже и нет, минус 1 стоит). а коменты чего закрыл? это уникальный контент к посту прицепом

а, это ты типа против прямых ссылок на комент, ну хз, помоему3у это минор проблема

Retox писал:

Но тот же All in one seo предлаагет архивы и теги закрыть, на счёт закрытия категорий явно перебор...

Не пойму, зачем теги закрывать?

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback

Allow: /wp-content/uploads

такой на всех блогах стоит, честно говоря не думаю что robots.txt может сильно на позиции блога влиять

Вопрос такой, как отключить virtual robots.txt, или как его редактировать ?

Код: [развернуть]

User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # Internet Archiver Wayback Machine User-agent: ia_archiver Disallow: / # digg mirror User-agent: duggmirror Disallow: / User-agent: Yandex Crawl-delay: 5 Sitemap: http://www.example.com/sitemap.xml

Лови, а там уже сам смотри что тебе отсель надо.

Semen_ssr: Прошу прощения, может я не так выразился, что в robots.txt надо я знаю. Просто в GWT "Доступ для сканера" выдается не тот файл что у меня в корне лежит, Может просто подождать и google его схавает сам ?

User-Agent: Googlebot
Allow: /sitemap.xml
Allow: /sitemap.xml.gz

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /about
Disallow: /contact
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: wp-*
Allow: /wp-content/uploads/

# allow Google ImageBot to search all images
User-agent: Googlebot-Image
Allow: /*

# disallow archiving site
User-agent: ia_archiver
Disallow: /

# disable duggmirror
User-agent: duggmirror
Disallow: /

net666 писал:

Может просто подождать и google его схавает сам ?

не схавает. тебе нужен плагин, например KB Robots, он работает с виртуальным роботсом. а свой в корне потом удалишь.

Попробывал.
Не очень получилось, т.е. при чтении robots.txt в браузере, все номально, читается то что надо... в GWT все по старому, он просто не обновился.... Может какое-то время долно пройти чтоб гугл его съел, Или как-то ему можно посказать что файл новый ?

net666 писал:

в GWT все по старому, он просто не обновился

ну ты хочешь чтобы все в реалтайме обновлялось у меня через сутки обновился, буквально неделю назад делал тоже самое.