Реклама на сайте Advertise with us

Странный YandexBot

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:



С нами с 07.10.10
Сообщения: 868
Рейтинг: 1290

Ссылка на сообщениеДобавлено: 09/12/16 в 12:38       Ответить с цитатойцитата 

Обратил внимание на странное поведение яндексбота когда логи просматривал. Он сам генерит несуществующие линки для моего сайта и просматривает их.

Для примера: есть ссылка рабочая mysite.xxx/gallery/img18352-enjoys-her-tigh.html Так этот бот начинает тупо инкрементить img18352>>img18353>>img18354 и т.д. Произвольно комбинирует параметры из разных ссылок, просто режет часть ссылки. Вобщем занимается какой-то непонятной хернёй.
При этом у меня на сайте есть постоянно обновляемая сайтмеп прописанная в robots.txt
Это точно YandexBot, диапазон айпи его. Вот нахрена это он делает? Любопытно просто.

Другие боты так не развлекаются. Есть еще правда бот от deusu.de, он иногда обрезает часть просматриваемых ссылок, думаю из-за его технических недостатков. Гуглбот самый точный. Бингбот грешит тем что пытатся лазить по давно удаленным ссылкам несмотря на то что я сайтмап напрямую загружаю в бингвебмастер панель.

4
 



С нами с 21.01.16
Сообщения: 141
Рейтинг: 153

Ссылка на сообщениеДобавлено: 10/12/16 в 10:14       Ответить с цитатойцитата 

Проверяет, может быть, по признакам дорвея?

1
 

Люблю то, что делаю!

С нами с 22.10.06
Сообщения: 5053
Рейтинг: 4418


Передовик Master-X (16.12.2014) Передовик Master-X (16.02.2017) Передовик Master-X (01.03.2017) Передовик Master-X (16.03.2017) Передовик Master-X (01.09.2017) Ветеран трепа Master-X (16.09.2017)
Ссылка на сообщениеДобавлено: 11/12/16 в 18:10       Ответить с цитатойцитата 

dmmcash писал:
Другие боты так не развлекаются.

smail101.gif smail54.gif
А ему делать нехуй, он не спешит. Когда у меня в индекс гула 1к страниц залетает, яндекс при этом только пол сотни в индексе отображает.

Kuantanis писал:
Проверяет, может быть, по признакам дорвея?

Если у меня на сайте будут изображения img18352>>img18353>>img18354 и т.д. разве это будет считаться дором?

2
 

Ленин ахуенен!

С нами с 27.06.12
Сообщения: 9301
Рейтинг: 1507


Передовик Master-X (16.08.2017) Передовик Master-X (16.11.2017) Передовик Master-X (16.01.2018)
Ссылка на сообщениеДобавлено: 12/12/16 в 01:49       Ответить с цитатойцитата 

Ко мне вот щас такой пришел 141.8.184.25 накликал сука по линку продажи трафика, которая собссно нигде не светится, хз как он её нашел.

АЙ МАМА - Траф напрямую из сетки СЖ, никаких прокладок, никаких бирж, низкий бид, высокая прода !!!!!

2
 

www.phpdevs.com

С нами с 24.10.02
Сообщения: 16633
Рейтинг: 16105


Передовик Master-X (01.09.2005) Передовик Master-X (16.09.2005) Передовик Master-X (01.10.2005) Передовик Master-X (16.08.2006) Передовик Master-X (16.10.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 12/12/16 в 10:11       Ответить с цитатойцитата 

У меня от яндекса меньше всего трафа с поисковика, но зато его бот делает трафа больше, чем сумма всех ботов от других поисковиков icon_smile.gif

Пишу на php/mysql/django за вменяемые деньги.
Обращаться в личку.

2
 



С нами с 07.10.10
Сообщения: 868
Рейтинг: 1290

Ссылка на сообщениеДобавлено: 12/12/16 в 10:42       Ответить с цитатойцитата 

Lexikon писал:
А ему делать нехуй, он не спешит.

Тогда уж это такой ущербный ИИ от яндекса пытающийся саморазвиваться. Тупиковая ветвь эволюции. icon_smile.gif


Johnbonjov писал:
Ко мне вот щас такой пришел 141.8.184.25 накликал сука по линку продажи трафика, которая собссно нигде не светится, хз как он её нашел.

Может ты яндекс браузером пользуешься?


Stek писал:
У меня от яндекса меньше всего трафа с поисковика, но зато его бот делает трафа больше, чем сумма всех ботов от других поисковиков

Эт точно, логи просто забиты этим ботом.

1
 



С нами с 02.08.16
Сообщения: 19
Рейтинг: -5

Ссылка на сообщениеДобавлено: 13/01/17 в 19:31       Ответить с цитатойцитата 

Уже пару недель буйство яндексбота не наблюдаю. У меня одного так?

-1
 

Клева

С нами с 07.02.04
Сообщения: 12781
Рейтинг: 3531

Ссылка на сообщениеДобавлено: 23/01/17 в 09:46       Ответить с цитатойцитата 

да яндекс бот вообще дикий, особенно новостной. недавно мне сайт положил, успокоил его дерриктивой Crawl-delay: 10

2
 



С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010


Передовик Master-X (16.03.2006) Передовик Master-X (01.04.2006) Передовик Master-X (16.04.2006) Передовик Master-X (01.05.2006) Передовик Master-X (01.11.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 23/01/17 в 09:56       Ответить с цитатойцитата 

фигасебе... у вас или говнохостинг или сайт сильно неоптимизированный, чтоб краулером можно было сервер положить или доставить неудобства smail101.gif

0
 

Клева

С нами с 07.02.04
Сообщения: 12781
Рейтинг: 3531

Ссылка на сообщениеДобавлено: 23/01/17 в 10:12       Ответить с цитатойцитата 

ibiz: нормально оптимизированный, яндекс бот долбил по 800 запросов в минуту

0
 



С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010


Передовик Master-X (16.03.2006) Передовик Master-X (01.04.2006) Передовик Master-X (16.04.2006) Передовик Master-X (01.05.2006) Передовик Master-X (01.11.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 23/01/17 в 15:05       Ответить с цитатойцитата 

densa писал:
яндекс бот долбил по 800 запросов в минуту


думаю это не нормально, но также уверен, что яндекс не виноват в таком кол-ве запросов, возможно ошибки на сайте или тупо циклический редирект на странице
у меня есть десяток крупных порталов с овер лямом страниц, по идее яндекс должен у меня поселиться:

утром тупо запустил мониторинг логов нескольких крупных сайтов, через команду:
tail -f /var/log/domain.ru.access.log | cut -d ' ' -f 1 | logtop
общее кол-во запросов к этим сайтам ~600 в секунду, но я так понял там считаются все http запросы включая к статике
load average: 0,11, 0,10, 0,10
яндекс бот 130.193.51.35 и хуй с германии 5.9.18.75 на втором месте по запросам smail101.gif
при этом есть поле для улучшения оптимизации

0
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »