60 noref hits per hour, с ip сервера

Вот такая беда, х.з. откуда взялось не пойму.
user agent: Mozilla/4.0 (compatible; MSIE 7.0b;
Windows NT 6.0)
Раз в минуту, какая то байда ходит.
Скипты SmartCJ и Proton.
5 трейдящих между собой словили этот глюк. Один из них на кристале данного эффекта не получил. Сиджи вне этого трейда, так же все в порядке.

Какой то чекер смарта может, нихрена не пойму, кто то сталкивался?

MozovCJ: за протон не скажу, по смарту - проверяет страницы трейдеров, отсюда и хиты могут быть, но по идее в хедере он пишет SmartCJ те было бы видно. Это я к тмоу что может протон так же что-то првоеряет ?

как раз хотел тебе писать уже...
протон вряд ли, протоны вне этого трейда ведут себя спокойно.

тут вообщем такая картина.
3 смарта
1 кристал
4 протона
в одном трейде.

вчера началось нашествие noref на смартах и протонах( с периодичностью крона), на кристалле нету.
на сервере два ip, noref соответствуют ip сайта.
то есть если сидж на ip1 , то noref у него тоже ip1, если сидж на ip2 , noref у него ip2.

все было хорошо, я просто менял обертку у пары смартов, может где-то что-то нажал не то... х.з.

ps LA подскочило на процентов 30%, субъективно.

еще момент, раньше был blocked_ref, сейчас там по нолям, на смартах.

может кристалл что то делает, раз на нем самом нету noref ... в растерянности я

смотри в сторону не доступности картинок через инклуды скриптов, у меня были подобные случаи только с atx, т.к на нём нет функции автограбинга тумб трейдеров для топа, то я просто вручную вставлял тумбы для кажого, и бывало что я забывал ставить тумбы под топ для нового трейдера и тут у меня появлялась такая же картина как у тебя. Растёт именно noref с IP сиджа, причём сильно растёт и портит всю картину статистики.

aewm: прошелся по всем темплейтам, инклюдам, все вроде без ошибок.

Как выявить виновника все таки? что делает хиты с периодичностью крона с айпи сервера?

Цитата:

что делает хиты с периодичностью крона с айпи сервера?

Директива #INCLUDE стрима.

стрим только на сидже с кристаллом, остальные на встроенных ротаторах.
на кристалле этих noref хитов нет.

Новые обстоятельства
Методом дедукции начинаю подозревать кристалл, дизейблю в нем свои сиджи на протонах и смартах на том же сервере, и , о чудо, noref с ip-ами сервера пропадает...

LA вернулся на свои средние значения, для моего сервера и трафика.

У кого какие идеи?

Я наверное тупой - но что мешает посмотреть в access log апача и подумать 3-5 минут ? Если там есть раз в минуту повторяющиеся запросы - их не увидит только слепой.

У кристала есть чекалка живучести трейдера, есть грабер тумб - посмотри что из этого у тебя включено.
А вообще смотри лог апача, как уже сказали что именно запрашивается.

На счёт кристала - запости скрин checker & grabber окошка, чтоб было видно чё у тебя включено и настроено там.

Но кристал ломица только с ИП сервера в любом случае, никак не с ИП сиджа.

Вообще честно говоря этот кристалл задрал своим чекером живучести - как только добавляешь несколько трейдов с кристаллом - пиздец нореф начинает переть. Прямо хоть в блеклист этот кристалл отправляй.
Ведь еще и чекают не по детски - чуть ли не перед каждым кликом к тебе. Идиотизм. Ну ладно бы там раз в сутки чеканул.

Bul: Раз в час он вообще-то по дефолту чекает. И по дефолту он выключен

Последний раз редактировалось: Woland (01/03/11 в 12:59), всего редактировалось 1 раз

скип

Последний раз редактировалось: MozovCJ (01/03/11 в 13:17), всего редактировалось 1 раз

да, состоявшийся факт, причина моря ноурефа кристалл.
х.з. может он встал криво, но меня не устраивает такое его поведение.

access log апача ? сколько там строк в минуту пишется? и что искать примерно, я слабо представляю.

Посмотри в system - logs кристала есть лог граббера тумб, checkr&grabber.log - там нет раз в час кучи (20 раз, try 20 стоит) ошибок сграбить какую-то тумбу с твоего же сиджа?

Я бы поставил настройки типа: try: 3 times and sleep for 12 hours
и period 12 часов или 24

Woland: Ну вот и прикинь сам подписалось к тебе 40 трейдеров с кристаллом - из них активных может пяток а остальных ты может даже не аппрувил а они тебя оставили в трейде и сами умерли (кстати достаточно типичная картина) и ты получил от скриптика 1000 норефа в сутки.
Это еще не учитывая граббер тумб - который я хуй знает как часто там запускается

Последний раз редактировалось: Bul (01/03/11 в 13:08), всего редактировалось 1 раз

ошибок в логе нет вообще, попробую настройки.
сидж новый был, трейдил только с моими, первый кристалл.
вот как теперь добавляться в трейд к другим, побанят нах=)

Цитата:

Ну вот и прикинь сам подписалось к тебе 40 трейдеров с кристаллом - из них активных может пяток а остальных ты может даже не аппрувил а они тебя оставили в трейде и сами умерли (кстати достаточно типичная картина) и ты получил от скриптика 1000 норефа в сутки. Это еще не учитывая граббер тумб - который я хуй знает как часто там запускается

Чекеры на 200 и граберы тумб для топа есть у большинства скриптов сейчас и это всё или нореф или нокуки у тебя в статсе, как не крути. У меня в норефе куда больше поисковых ботов к примеру (причём они, бляди, без юзерагента, тока по хуизу понимаю, что это), чем всех этих чекеров - мне наверное надо и гугл забанить ? Проще забить на нореф, по моему.
У меня за всё время юзанья кристалом (на всех сиджах) был тока один персонаж, который удалил за нореф (в аське работнику моему заявил, что он "накручивает его норефом" - до сих пор пытаюсь перевести и понять смысл этой фразы ... когда ж эти каникулы уже закончатся ) - ну ... флаг ему в руки, конечно, и барабан на шею. Остальным видимо нореф похуй и он всё равно есть что с кристалами, что без.

Woland: ты как знаменитый пользователь кристалла можешь сказать, что скрипт смотрит на трейдерах один раз в минуту и почему, и как это отключить?

или таки это глюк одной отдельно взятой установки?

у тебя такая же картина?

У тебя похоже какие-то читерские гуглботы - нормальный гуглбот с юзерагентом ходит.

Цитата:

он всё равно есть что с кристалами, что без

Он может и есть толькоего немного. Я тут экперимент провел - было у меня на сиджике порядка 1500 норефа в сутки - я по логам посмотрел ип с которых в основном валится - оказалось что большая часть с четырех ип (все кстати на вебазилле оказались) - и я их побанил - норефа стало 350 в сутки и несколько трейдов на кристалле отвалились. Вот так.

Последний раз редактировалось: Bul (01/03/11 в 13:38), всего редактировалось 1 раз

да, кстати, я тоже всех ботов вижу по юзер агенту,

а кристалл молча пишет user agent: Mozilla/4.0 (compatible; MSIE 7.0b;
Windows NT 6.0) и писец, вот что это за юзер агент такой? играем в телепатов?

а хуй там, глянул сейчас, есть гугл боты без юзер агнета, и в правду...

Последний раз редактировалось: MozovCJ (01/03/11 в 13:38), всего редактировалось 1 раз

MozovCJ: Один раз в минуту он ничё не смотрит. Чекер у тебя выключен вообще, грабер стоит раз в час.
Но в дефолтных настройках грабера стояло попробовать 20 раз и повторить через 6 часов (если не удаёца тумбу взять). Вот если у тебя грабер кристала не может по какой-то причине (например антихотлинк настроен) взять тумбу с твоего сиджа (с того, который у тебя в трейде и где ты видишь нореф с ИП сервера) - он раз в 6 часов мог заходить 20 раз (по разу в минуту, по крону) пытаться тумбу спарсить на топ.

У меня такого нету, грабер у меня раз в сутки стоит, ну как я выше написал настройки. Кристаловцам кстати говорил, чтоб они такие настройки по дефолту тож поставили - сказали поставят.

грабер кристалла не написал ни одной ошибки в своем логе = значит все работает нормально, все он получает, никаких антихотлинков и прочего.

в кристалле отключил всех трейдеров, noref на них пропал.

вот откуда я делаю вывод, что кристалл раз в минуту пинал трейдеров х.з. по каким причинам, порождая noref и подняв LA.