База тюб клипов на 200к записей. Какие данные нужны?

Поскольку база пользуется большим спросом - продолжаем развивать сервис.

Не все спонсоры предоставляют длительность клипов, таким образом будем делать это самостоятельно. Но чтобы это осуществить надо выкачать все клипы к себе на хостинг. Это не быстрая процедура, потому решил перед тем как делать спросить - какие ещё данные нужны, чтобы заодно и их получить.

Из других нововведений появится информация о клипах, которые можно стримить с хостинга партнёрки.

Пример базы можно посмотреть на сайте в любой нише: http://www.signbucks.com/tube-clips/list (экспорт справа)

Выскажитесь какие опции нужны и какие есть вопросы

Оффтопик: у вас там на некоторых партнерках платники неправильно обозваны почему-то, подправили бы

Swimmer24 писал:

Оффтопик: у вас там на некоторых партнерках платники неправильно обозваны почему-то, подправили бы

большая просьба сразу нажимать на кнопку FeedBack и отписывать. Сейчас работают надо сайтом редактора, не всегда есть возможность отследить

высоту/ширину видео и 5-10 тумб

высоту/ширину добавили
тумбы не получится, т.к. придётся их нам и хостить

так это. парсильщики. а если спон сменит урл, ваша база по пизде?
часть урла в картинке.
часть урла в мувике.

или это так сказать "сырец" для скачивания? или для хотлинка?

они в ембед вставляются?

сам flv это пустое. в примерах сразу в ембед вставляйте. чтобы проигрывало. или не проигрывало.

я таких парсеров написал до жопы. им время жизни 2 недели...

потом надо лезть в код и править. и перепарсивать.

ты о чём вообще?

добавьте в rss фид тэг <total> !

готово

это кому ответ? не вижу <total> в выдаче. на всякий случай уточню - это к-во клипов в запросе.

появился какой-то странный <sb:total>182984</sb:total> при запросе 10 клипов. что это?

total должен быть равен maximum results в запросе для xml и rss!

А реально долго живут эти урлы?
Вы же перепарсиваете базу. Споны могут часто лломать свои линки.

текущий показатель Total является достаточным для решения требуемых задач

как ни странно ссылки не меняются. бывает партнёрка накрывается и только. сейчас закачиваем себе все ссылки - всё рабочее

MrDeiz писал:

текущий показатель Total является достаточным для решения требуемых задач

зачем тогда создавать топик и спрашивать какие данные нужны?

для моих задач ваша выдача вообще не подходит, приходится руками править структуру тэгов.

removed by moderator

Последний раз редактировалось: CyberSEO (20/06/19 в 12:04), всего редактировалось 3 раз(а)

MrDeiz писал:

Не все спонсоры предоставляют длительность клипов, таким образом будем делать это самостоятельно. Но чтобы это осуществить надо выкачать все клипы к себе на хостинг. Это не быстрая процедура, потому решил перед тем как делать спросить - какие ещё данные нужны, чтобы заодно и их получить.

Размеры и длина ведь в заголовке должны храниться, разве нет? Необязательно ведь выкачивать всё.

CyberSEO ты вообще к чему?
мы предоставляем базу клипов, не просто список спонсоров, а ссылки на сами клипы.

плюс у них гораздо меньше спонсоров в списке и неактуальных.

Моторокер писал:

Размеры и длина ведь в заголовке должны храниться, разве нет? Необязательно ведь выкачивать всё.

дык, нам по любому ведь выкачивать приходилось. тем более раньше просто предоставляли базу как есть, а сейчас идёт обработка

обработка закончена. можете забирать)

MrDeiz: не подскажите от куда можно парсить ролики с jpg и flv? Мне просто нужно наполнить свой туб и видео перекачать на собственный сервер. Не хотелось бы ваши сервера нагружать

ну дык... покупаешь базу и выкачиваешь всё по прямым сслыкам

Цитата:

ну дык... покупаешь базу и выкачиваешь всё по прямым сслыкам

Я работаю спец.софтом. Он ходит по страницам тубов, сам выкачивает картинки и видео по ссылкам из документов и создаёт файлы импорта (WP, DLE). Поэтому мне нужна как-бы html постраничная версия всего этого

Поделитесь источникам(и) в ЛС?

ну это уже извращение. проще ведь выкачать по прямой ссылке чем по хтмл или я что-то не пойму

MrDeiz: скрипт на серваке лежит и моего трафика при этом тратится нуль. Т.е. сервер сам качает на себя видео.