Ресурс, который помогает

Тема: Проблемы с robots.txt Расширенный поиск по форуму
 
Новая тема Новая тема   Ответить Ответить  
Автор Сообщение
Информация о пользователе Whitedragon


Зарегистрирован: 10.03.03
Сообщения: 257
Рейтинг: 254

Ссылка на сообщениеДобавлено: 07/08/08 в 23:14      Ответить с цитатойцитата 

Здравствуйте, возникла проблема внутри акка в гугле. По каждому сайту выдает "Невозможно получить доступ к файлу robots.txt", выпадают все страницы сайтов, даже главный урл пропадает из выдачи, скажите в чем может быть дело? прям вирус какойто. С файлом роботс.тхт все ок,
User-agent: *
Disallow:

K началу

 
Информация о пользователе andreich
-->> Я ГОПНИК

Зарегистрирован: 15.05.05
Сообщения: 5294
Рейтинг: 4244


Передовик Master-X (16.10.2007)
Ссылка на сообщениеДобавлено: 08/08/08 в 01:25      Ответить с цитатойцитата 

Whitedragon писал:

User-agent: *
Disallow:

такое содержание robots.txt равносильно его отсутствию, я бы попробовал тупо удалить

K началу

Самые продажные тины и матюры. $45 за сайн!

 
Информация о пользователе adultdream
Есть боль и радость, покоя нет

Зарегистрирован: 18.02.07
Сообщения: 1157
Рейтинг: 1687


Передовик Master-X (16.11.2007) Передовик Master-X (01.12.2007) Передовик Master-X (16.12.2007) Передовик Master-X (16.04.2008) Передовик Master-X (01.05.2008) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 08/08/08 в 03:04      Ответить с цитатойцитата 

Whitedragon: а хостинг какой ?

Последний раз редактировалось: adultdream (08/08/08 в 03:41), всего редактировалось 1 раз

K началу

NEW!!! Свежие HD сайты
HD Sites, RSS-feeds, Free Tube Content, Embedded Flash Videos..

 
Информация о пользователе ibiz
I ♥ Mаster-X!

Зарегистрирован: 24.10.04
Сообщения: 5458
Рейтинг: 3773


Передовик Master-X (16.03.2006) Передовик Master-X (01.04.2006) Передовик Master-X (16.04.2006) Передовик Master-X (01.05.2006) Передовик Master-X (01.11.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 08/08/08 в 03:09      Ответить с цитатойцитата 

лучше заменить на
User-Agent: *
Allow: /

гугл любит, когда robots.txt отдает код 200 icon_smile.gif

K началу

Ratio 1:300, FHG, FHS, RSS, Free Host, Free Content.
Все для вебмастера! Fucking Cash v2 и Money Cult

 
Информация о пользователе adultdream
Есть боль и радость, покоя нет

Зарегистрирован: 18.02.07
Сообщения: 1157
Рейтинг: 1687


Передовик Master-X (16.11.2007) Передовик Master-X (01.12.2007) Передовик Master-X (16.12.2007) Передовик Master-X (16.04.2008) Передовик Master-X (01.05.2008) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 08/08/08 в 03:14      Ответить с цитатойцитата 

ibiz: это не поможет, у него гугл не может до файла robots.txt добраться, так что хоть там ромашку нарисуй - ситуация не изменится icon_wink.gif

K началу

NEW!!! Свежие HD сайты
HD Sites, RSS-feeds, Free Tube Content, Embedded Flash Videos..

 
Информация о пользователе ibiz
I ♥ Mаster-X!

Зарегистрирован: 24.10.04
Сообщения: 5458
Рейтинг: 3773


Передовик Master-X (16.03.2006) Передовик Master-X (01.04.2006) Передовик Master-X (16.04.2006) Передовик Master-X (01.05.2006) Передовик Master-X (01.11.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 08/08/08 в 03:20      Ответить с цитатойцитата 

хм... возможно в htaccess какие-то замуты все портят...

K началу

Ratio 1:300, FHG, FHS, RSS, Free Host, Free Content.
Все для вебмастера! Fucking Cash v2 и Money Cult

 
Информация о пользователе Whitedragon


Зарегистрирован: 10.03.03
Сообщения: 257
Рейтинг: 254

Ссылка на сообщениеДобавлено: 08/08/08 в 08:51      Ответить с цитатойцитата 

всем спасибо, за ответы..
Действительно все эти сайты висят на виртуальном хосте, сайты которые на дедике такой заразой не болеют, роботс.тхт у всех одинаковый, c htaccess тоже все ок. Возник вопрос, может это так пеналь выглядит или бан, т.к. это сеть сайтов на одном хосте под одним айпи? Проблемы начались с апдейтом гугла.. сначала начал выдавать ошибки в сайтмап, удалили мапы, теперь роботс и выпадают из индекса..

+ еще вопрос задам здесь, чтбы новый топик не создавать..
На одном сайте наростает НЕ НАЙДЕНО, и они формируются сами по себе, таких страниц не было никогда, вот так: http://domen.com/domen.com/stranica.html - не найдено, когда сайт
просто выглядит http://domen.com/stranica.html. Получается он сам как то клеит

K началу

 
Информация о пользователе adultdream
Есть боль и радость, покоя нет

Зарегистрирован: 18.02.07
Сообщения: 1157
Рейтинг: 1687


Передовик Master-X (16.11.2007) Передовик Master-X (01.12.2007) Передовик Master-X (16.12.2007) Передовик Master-X (16.04.2008) Передовик Master-X (01.05.2008) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 08/08/08 в 09:43      Ответить с цитатойцитата 

вероятнее всего бан подсетки ip, в результате гуглбот не доходит до твоего сайта, а пишет что недоступен robots.txt (так как это первое к чему он обращается)
дай угадаю, хостинг - 3FN, последний успешный заход гуглбота примерно 14-17 июля?

Последний раз редактировалось: adultdream (08/08/08 в 09:57), всего редактировалось 1 раз

K началу

NEW!!! Свежие HD сайты
HD Sites, RSS-feeds, Free Tube Content, Embedded Flash Videos..

 
Информация о пользователе adultdream
Есть боль и радость, покоя нет

Зарегистрирован: 18.02.07
Сообщения: 1157
Рейтинг: 1687


Передовик Master-X (16.11.2007) Передовик Master-X (01.12.2007) Передовик Master-X (16.12.2007) Передовик Master-X (16.04.2008) Передовик Master-X (01.05.2008) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 08/08/08 в 09:45      Ответить с цитатойцитата 

по второму вопросу скорее всего или ошибка внутренней перелинковки (смотри в <a href= где то мог написать не http://домен.com/страница.html, а просто домен.com/страница.html) , или извне ссылки идут на несуществующие страницы. Сам он клеить не будет.

K началу

NEW!!! Свежие HD сайты
HD Sites, RSS-feeds, Free Tube Content, Embedded Flash Videos..

 
Информация о пользователе Skat
skat-porn.com блог для АВМов

Зарегистрирован: 06.03.05
Сообщения: 4008
Рейтинг: 5120


Передовик Master-X (01.02.2007) Передовик Master-X (16.02.2007) Передовик Master-X (01.04.2007) Передовик Master-X (01.05.2007) Передовик Master-X (01.10.2007) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 08/08/08 в 10:12      Ответить с цитатойцитата 

adultdream писал:
дай угадаю, хостинг - 3FN, последний успешный заход гуглбота примерно 14-17 июля?


ибануться я весь мозг вчера сломал почему сайт вылетил из выдаче и нет в кеше его, суппорту 3FN бля доказывал что хуйни они понаворотили с сервером

и на мой сайт с 16 июля больше не было захода гуглбота,
на вскидку с суппортом проверили 20 сайтов с этого же сервера, и ни одного в выдаче и с датой кеша после 17 июля

K началу

StimulCash v2 раза лучше! | Тины и Матюры! 45$ за сайн! | Верстка

 
Информация о пользователе adultdream
Есть боль и радость, покоя нет

Зарегистрирован: 18.02.07
Сообщения: 1157
Рейтинг: 1687


Передовик Master-X (16.11.2007) Передовик Master-X (01.12.2007) Передовик Master-X (16.12.2007) Передовик Master-X (16.04.2008) Передовик Master-X (01.05.2008) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 08/08/08 в 10:27      Ответить с цитатойцитата 

я даже выснять ничего не стал, просто перевез все сайты, когда бот ходить перестал и все... А то ответ один всегда - с нашей стороны все в полном порядке smail54.gif

K началу

NEW!!! Свежие HD сайты
HD Sites, RSS-feeds, Free Tube Content, Embedded Flash Videos..

 
Информация о пользователе Whitedragon


Зарегистрирован: 10.03.03
Сообщения: 257
Рейтинг: 254

Ссылка на сообщениеДобавлено: 08/08/08 в 10:31      Ответить с цитатойцитата 

Skat писал:
ибануться я весь мозг вчера сломал почему сайт вылетил из выдаче и нет в кеше его, суппорту 3FN бля доказывал что хуйни они понаворотили с сервером

и на мой сайт с 16 июля больше не было захода гуглбота,
на вскидку с суппортом проверили 20 сайтов с этого же сервера, и ни одного в выдаче и с датой кеша после 17 июля


да 3fn, и все сайты кого бот посещал после 14 уже не в индексе, которых еще не посещал - висят пока, вот бля icon_sad.gif пора переезжать, спасибо за инфу

K началу

 
Информация о пользователе Skat
skat-porn.com блог для АВМов

Зарегистрирован: 06.03.05
Сообщения: 4008
Рейтинг: 5120


Передовик Master-X (01.02.2007) Передовик Master-X (16.02.2007) Передовик Master-X (01.04.2007) Передовик Master-X (01.05.2007) Передовик Master-X (01.10.2007) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 08/08/08 в 10:55      Ответить с цитатойцитата 

adultdream писал:
я даже выснять ничего не стал, просто перевез все сайты, когда бот ходить перестал и все... А то ответ один всегда - с нашей стороны все в полном порядке smail54.gif

да я две недели мотался, времени не было особо, все думал глюки гугла, тут как раз в топиках писали, что пенальти надавал, думал попал под раздачу и особо выяснять не стал, вчера решил посмотреть и обалдел..

K началу

StimulCash v2 раза лучше! | Тины и Матюры! 45$ за сайн! | Верстка

 
Информация о пользователе Chin
Модератор


Зарегистрирован: 25.05.07
Сообщения: 365
Рейтинг: 393

Ссылка на сообщениеДобавлено: 07/09/08 в 19:49      Ответить с цитатойцитата 

В случае таких проблем я бы первым делом смотрел, какой ответ дает сервер по проверяемому урлу.
Прочекать можно 4seo.biz/tools/31
а дальше уже в зависимости от того, какой ответ сервак выдаст.

K началу

31 free seo & web tools

 
Earncoin Новая тема Новая тема   Ответить Ответить  
Показать сообщения:     
Перейти:  


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах

Спонсор раздела TrafficHolder.com

Опросы

Нужен ли на Мастер-Х отдельный раздел по русскому адалту?

  • Да, пусть будет один отдельный раздел форума
  • Да, нужно сделать отдельные разделы по ru-спонсорам и по ru-трафику
  • Нет, существующих разделов и так достаточно, не нужно выделять
  • Адалт в рунете не законен! Надо запретить обсуждение его вообще



Обсудите на форуме обсудить (19)
все опросы »