Xhamster и ЦП или как держать листы чистыми?

Как держать листы чистыми?
Суть пробелмы:
https://xhamster.com/movies/6373199/chastity_bitch_sucking_cock.html - хостер прям выеб (отключил IP и не включает, просит убрать домен целиком) за тумбы с этого видоса...
Пошел проверять id - нету в списке удаленных и в списке живых...

Есть мысли как гавно это вычищать автоматом?
Спасибо.

чем больше у тебя будет сайтов в тин нише - тем больше таких проблем единственный выход - не работать в тинах , либо полностью ручной мониторинг всех тумб раз в сутки/двое/неделю (но и это не вариант - то что тебя покажется легальным , какому-нибудь упоротому абузеру будет выглядеть как чистое цп)

в какой стране дц ?

Diablo: бро, гей ниша
в тины не лезу даже...
тумба ваще нихуя не ЦП, там ничего не видно на ней... в личку скину... пробелма что кто-то стуканул что на видосе был чел которму меньше 18...
и погнали по гугли её палить...

меня парит чисто технически, как получить нормальный лист с удаленными галями, не проверять же каждый день сколько там лямов на живучесть?

Настроить чекер в смартсж и он нормально отрабатывает такие ситуации.
по типу
xhamster.com|This video was deleted
xhamster.com|This movie has been removed
ну и визуально почаще глядеть на морды флагманов, такие тумбы обычно в топе сразу появляются и никуда не уходят.

САМЫЧ: походу придется в лоб херачить...
один из скриптов стрим, напишем щас душику, что бы прикрутил такое...

p.s. в своей базе 6млн... надеюсь не забанят мой ip

JM: В смартсж можно настроить что бы он чекал и еще и выкладывал фидом удаленные гали, по идее можно через него организовать удаление на других скриптах, если конечно база одна, просторы для творчества есть. Можно через него первоначально прогонять все гали, и с него уже тянуть на другие скрипты и новые и удаленные. Но всё равно нужно глазами отслеживать, а то текст на удаленных галереях поменяют овнеры тубов и привет.

САМЫЧ писал:

Настроить чекер в смартсж и он нормально отрабатывает такие ситуации. по типу xhamster.com|This video was deleted xhamster.com|This movie has been removed

А как ты на смарте хамстер проверяешь? Там же проблема, что хамстер выдаёт чекеру 301 редирект, и смарт по умолчанию всё кроме 200 считает удалённым и сносит даже существующие галеры. Эта тема поднималась в топике про смарт.

JM писал:

хостер прям выеб (отключил IP и не включает, просит убрать домен целиком) за тумбы с этого видоса...

OVH? Ну хостер же сначала предупреждает. Перенеси домен к другому хостеру, не такому резкому, которому достаточно по абузе удалить тумбу.

Jabar писал:

А как ты на смарте хамстер проверяешь? Там же проблема, что хамстер выдаёт чекеру 301 редирект, и смарт по умолчанию всё кроме 200 считает удалённым и сносит даже существующие галеры. Эта тема поднималась в топике про смарт.

Даже не знаю что сказать, с такой проблемой не встречался

САМЫЧ писал:

Даже не знаю что сказать, с такой проблемой не встречался

А ты попробуй не удалять галеры чекером, а например из в хидден закидывать, а потом посмотри, какие там оказались.

ну вот спрашивают

iGelius писал:

Проблема с хомяками и чекером галлерей смарта. Хомяк редиректит бот чекера через 302, смарт за это удаляет галлеру. Сначала кликабельные отротированные тумбы, потом все остальные. Без чекера юзать нельзя, если тумба идет на удаленные хамстером мувики за вэри янг, летят абузы которые нихуя нигде не игнорят. Использовать дамп удаленных с https://partners.xhamster.com/content_export.php хз как, он слишком большой для создания задания. Кроме того нужно сначала проверить бд целиком т.к. многие мувики не учавствующие в ротации на морде давно или никогда не проверялись, потом оперативно удалять все свежеудаленное хомяками.

Smart CJ для тупых

Jabar писал:

А ты попробуй не удалять галеры чекером, а например из в хидден закидывать, а потом посмотри, какие там оказались. ну вот спрашивают Smart CJ для тупых

Когда я пишу что у меня такой проблемы нет, значит ее нет.
Я галереи никогда не удаляю, у меня они в инактив уходят, я еще вчера глянул, все отлично, в инактиве те, что удалены у хамстера.
Так что там в топике глюк какой то у чела выскочил.

На хамстере есть дамп с удалёнными за 30 дней, это не решает проблему?
https://partners.xhamster.com/export/del_month.csv

Hawkins писал:

На хамстере есть дамп с удалёнными за 30 дней, это не решает проблему? https://partners.xhamster.com/export/del_month.csv

Ну поищи ради прикола этот id 6373199 во всех этих дампах на удаление...

Юзаю https://partners.xhamster.com/export/del_month.csv. Забираю с него каждые пару часов 500 новых таким образом:
curl -s 'http://partners.xhamster.com/export/del_month.csv' | head -n 500 > /patch/del_month.csv
чтобы смарт мог отработать через rotation - sets - Delete items.
Дальше, у хамстера есть список "Error URLs" для каждого домена. Его можно получить в виде фида. Осторожно, там ид в неверном формате. Аналогично, пихаем в rotation - sets - Delete items.

Цитата:

чекер в смартсж по типу xhamster.com|This video was deleted xhamster.com|This movie has been removed

не рекомендую. Смарт удаляет за редирект. Когда хомяк поставил редиректы на свои галлеры, смарт ебнул всю бд. Лемон утверждает, что удаление за редирект не косяк а неотключаемая фича
Рабочий чекер не уберег от проблем.
И хомяк, один из самых адекватных тубов. Остальные вообще похуисты.

iGelius писал:

не рекомендую. Смарт удаляет за редирект. Когда хомяк поставил редиректы на свои галлеры, смарт ебнул всю бд.

Самыч сказал, что это только у тебя геморой, а у него все как часики

iGelius писал:

Дальше, у хамстера есть список "Error URLs" для каждого домена. Его можно получить в виде фида

Нука это где?

Не знаю где ошибка, может быть в генах

Если честно я сижу на tcms, но по старинке называю его смартсж.
У меня все точно работает на нем.

Последняя проблема была, когда xhamster добавил во все галереи текст Video not found.

Сейчас глянул старую сетку на смартсж 1.51, там действительно чекер локнулся на xhamster, может быть там и есть какие то проблемы, но скорей всего они в отсутствии апдейта.

JM писал:

Нука это где?

В статистике на против каждого домена в столбце Errors есть циферка подчеркнутая, так вот она интерактива.

САМЫЧ писал:

В статистике на против каждого домена в столбце Errors есть циферка подчеркнутая, так вот она интерактива.

О какая штука прикольная ) внутри действительное txt+rss

Гы так можно все сайты собрать что на них траф шлют )

Убирайте удаленные галеры как можно быстрее, и на вас не наедут, возможно

JM писал:

О какая штука прикольная ) внутри действительное txt+rss

Штука прикольная, пользуюсь по возможности. Но руки не доходили отследить - работает ли в продолжительном промежутке времени.

Вот вроде есть у тебя косячная галерка, в сетах установил автограб этого дампа. При установке нажимая "test" граб отработает только со второго раза (это просто наблюдение). Запустил - галерки косячные удалились. Поставил на отработку каждые 10 часов. Вроде теперь хамстер не должен говорить, что я шлю ему на 404 галеры. Но нет, со временем эта цифра всеравно растёт.

Jabar: LeMoN: Мужики, а подскажите у хамстера id подряд идут?
Т.е. можно поидее пропуски собрать из рабочего листа, ну условно рабочие гали 10000 и 10002, значт 10001 - удалена?

Последний раз редактировалось: dimm (02/01/20 в 02:18), всего редактировалось 1 раз

JM писал:

Jabar: LeMoN: Мужики, а подскажите у хамстера id подряд идут? Т.е. можно поидее пропуски собрать из рабочего листа, ну условно рабочие гали 10000 и 10002, значт 10001 - удалена?

Теоретически - да, хотя это и проверить не тяжело
Но зачем таки сложности, у хомяка лучшая, на мой взгляд, система выдачи ошибок, и Auto updated error list даже для каждого домена, и руками удалять легко при желании...

LeMoN писал:

Теоретически - да, хотя это и проверить не тяжело Но зачем таки сложности, у хомяка лучшая, на мой взгляд, система выдачи ошибок, и Auto updated error list даже для каждого домена, и руками удалять легко при желании...

Ну например видос был активным - потом удалился, но как писал выше его почему-то нету в делет листах... и переходов нету на него... но в гугле весит тумба с него, по которой в итоге может прийти абьюз...
Собственно как у меня и вышло...

Я тоже перепроверил, действительно нету удаленной галереи с данным id.
Наверно кто то из работников хамстера затупил, сначала пропустив этот видос, а потом удалив id из базы, как будто его не было