С нами с 04.09.03
Сообщения: 439
Рейтинг: 410
|
 Добавлено: 22/12/09 в 11:44 |
до 10% кликов этого бота от топовых трейдеров, причем с моих же сайтов, которые между собой трейдят
Mozilla/5.0 (compatible; MJ12bot/v1.3.2; http://www.majestic12.co.uk/bot.php?+)
просел трафик именно на этих сайтах где эта ебула гуляет, х.з. праздники или еще что-то, но именно на этих сайтах существенней
еще какого-нить этот бот достает ?
|
|
|
|
| |
С нами с 09.10.07
Сообщения: 433
Рейтинг: 321
|
| Добавлено: 22/12/09 в 13:40 |
Закрыть для него ауты htaccess'ом по юзерагенту, и редиректить между своими индексами или еще куда (совсем нахуй я бы не стал --- хрен знает для каких поисковиков он статистику собирает)
|
|
|
|
| |
all in
С нами с 18.11.08
Сообщения: 780
Рейтинг: 631
|
| Добавлено: 22/12/09 в 17:29 |
Это бля не бот а дятел-террорист, раз заблудился на новом сидже - 2к+ хитов сделал.
Постоянно на сиджах по кругу мотается, хз че с ним делать, первый раз увидел - подумал накручивает кто то.
|
|
|
|
| |
С нами с 21.03.08
Сообщения: 720
Рейтинг: 1013
|
| Добавлено: 22/12/09 в 17:35 |
В .htaccess пишем
# Bots and Crawlers
RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [NC]
RewriteRule .* - [F,L]
У кого Nginx:
Создаем файл bad_agent.conf
if ($http_user_agent ~ MJ12bot) {
return 403;
}
В настройках домена
include badagent.conf;
Чтобы не грузить апач бесполезными проверками
|
|
|
|
| |
С нами с 04.03.07
Сообщения: 8929
Рейтинг: 5138
|
| Добавлено: 22/12/09 в 20:10 |
тоже долбал конкретно, админы разобрались
|
|
|
|
| |
С нами с 18.02.03
Сообщения: 61
Рейтинг: 92
|
| Добавлено: 22/12/09 в 22:08 |
Последнее время Baiduspider задалбывает. Тоже борюсь с ним хтакцессом. Никто не знает что за зверь?
|
|
|
|
| |
С нами с 01.04.07
Сообщения: 4378
Рейтинг: 2970
|
| Добавлено: 22/12/09 в 22:16 |
|
|
|
|
| |
С нами с 01.04.07
Сообщения: 4378
Рейтинг: 2970
|
| Добавлено: 22/12/09 в 22:24 |
---
|
|
|
|
| |
С нами с 18.02.03
Сообщения: 61
Рейтинг: 92
|
| Добавлено: 22/12/09 в 22:37 |
Спасибо за ссылку, очень познавательно 
|
|
|
|
| |
С нами с 28.07.07
Сообщения: 425
Рейтинг: 375
|
| Добавлено: 23/12/09 в 11:25 |
а что делать с яндексом? тоже заглядывает? домена конечно в выдаче нет..но хиты бота есть.
|
|
|
|
| |
С нами с 16.10.09
Сообщения: 343
Рейтинг: 419
|
| Добавлено: 23/12/09 в 16:25 |
Majestic реально достал, такое ощущение, что он по нескольку раз прокликивает все тумбы. При том, что он считается как nocookie и шлется на контент, то есть внешка не страдает, все равно сервак грузится - неприятно.
Так что надо закрывать.
Вот только гложут меня сомнения относительно mod_rewrite, особенно в .htaccess. Сервак это грузит, неприятно. Лучше через SetEnvIfNoCase попробовать.
|
|
|
|
| |
www.phpdevs.com
С нами с 24.10.02
Сообщения: 16633
Рейтинг: 16105
 
|
| Добавлено: 23/12/09 в 17:01 |
А не пробовали из документации на сайте использовать robots.txt ?
| Код: | User-agent: MJ12bot
Disallow: /
|
|
|
|
|
Пишу на php/mysql/django за вменяемые деньги.
Обращаться в личку.
|
0
|
|
| |
С нами с 16.10.09
Сообщения: 343
Рейтинг: 419
|
| Добавлено: 23/12/09 в 17:18 |
У меня ощущение, что он игнорит robots.
|
|
|
|
| |
С нами с 01.04.07
Сообщения: 4378
Рейтинг: 2970
|
| Добавлено: 23/12/09 в 18:37 |
В документации написано, что разные твари любят прикидываться мажестиком.
Но, наверно, стоит начать с роботс.тхт
|
|
|
|
| |
С нами с 16.10.09
Сообщения: 343
Рейтинг: 419
|
| Добавлено: 24/12/09 в 15:53 |
Ну это верно %)
|
|
|
|
| |
