StreamRotator. Релиз.

Всем привет. Рад сообщить, что тестирование StreamRotator-а завершено и теперь я могу без зазрения совести представить его на суд общественности

StreamRotator - программный комплекс, содержащий в себе модули граббера и ротатора для тумбовых и текстовых сиджей. Изначально скрипт разрабатывался для собственных нужд, но как это часто бывает с удачными идеями, он очень быстро начал жить своей жизнью, и, в конце концов, мы имеем вот такой вот топик.

С февраля 2006 скрипт тестировался на ~100 сиджах у ~15 тестеров, как на dedicate-серверах так и на виртуальных хостингах нескольких популярных русских хостеров.

Ротатор имеет 2 версии:
1. Условно-бесплатная – забирает в качестве оплаты за использование 1% кликов, а также несколько урезанная функционально (например, в ней отключен FTP-модуль)
2. Полнофункциональная платная версия. Цена лицензии для одного домена 150$.

В дальнейшем для условно-бесплатной версии не будут производиться принципиальные разработки, только исправления ошибок. Несмотря на это, такая версия позволит почувствовать весь потенциал StreamRotator-а, а также создавать нормально функционирующие стабильные сайты. Чтобы перейти с условно-бесплатной на платную версии понадобиться только прописать в настройках лицензию для вашего домена. Никак телодвижений со скриптами производить не понадобиться. Т.е. в условно-бесплатной версии можно ознакомиться с админкой, протестировать работу граббера, посмотреть какую продуктивность на сайте может обеспечить ротатор, а потом безболезненно переходить на платную версию.

Платная версия - это основная ветвь развития скрипта. Самые "вкусные" новинки, такие как Affiliate Manager (подробнее о нем - в конце), TGP-модуль, будут доступны только для нее.




Ну а теперь, краткое описание возможностей скрипта:

Скрипт реализован на php с использованием mysql, gdlib, imagemagick, cron.
StreamRotator протестирован на совместимость с большинством популярных cj-скриптов — ATX/AT3, TM3, EasyTrade, FET, ATS, PROTON и т.д.
В работе с mysql широко используются heap-таблицы. В отличие от всех остальных видов таблиц mysql, heap-таблицы существуют только в памяти компьютера. Это позволяет работать с ними на несколько порядков быстрее, чем с обычными данными. Другими словами, при сборе/обработке статистики, обращений к дисковой подсистеме не происходит.
Отказоустойчивая схема работы с mysql. При сбое сервера базы данных mysql, ротатор продолжает работать в нормальном штатном режиме, за исключением того, что статистика по показам/кликам не собирается и не анализируется.
Система апдейтов. Для того, чтобы обновить скрипт до последней версии, достаточно одного клика в админке. Перед каждым апдейтом делается резервное копирование скриптов и базы данных, и в случае сбоя при обновлении система будет автоматически восстановлена до работоспособного состояния.
Простая, интуитивно понятная админка. Большинство пользователей отмечают, что разобрались со скриптом без руководства. Хотя читать мануал я все таки настоятельно рекомендую.
Минимальная нагрузка на сервер. За счет практически полного отказа от использования дисковой подсистемы, а также за счет предгенерации и кэширования контента, ротатор потребляет минимум ресурсов сервера. Он отлично справляется с ротацией десятков и сотен тысяч тумб.



Граббер:
Граббер работает в фоновом режиме. Это значит, что мы один раз занесем список галь в очередь на грабинг, и нажмем кнопку "grab". Все остальное сделает скрипт — он будет изготовлять тумбы небольшими порциями каждую минуту. Какого-либо контроля или ожидания с Вашей стороны не требуется.
2 режима работы — полуавтомат и полный автомат. Отличие состоит в том что в режиме "полный автомат" отграбленные тумбы сразу попадают в ротацию, а в полуавтоматическом режиме в ротацию попадут только выбранные пользователем тумбы (из предварительно отграбленных скриптом). Их может быть несколько для одной галереи, в последствии останется лучшая из них.
Грабит как пиксовые галереи, так и мувисные. А также галереи, переход к которым осуществляется через редирект, галереи которые содержат ссылки на страницы с изображениями, а не ссылки на изображения (как это обычно принято), другие "нестандартные" галереи (например videoscash-а).
При несовпадении форматов тумбы и исходной картинки, создается несколько тумб с разных участков пикчи. Например, если формат тумбы вертикальный (высота больше ширины), а формат исходной картинки горизонтальный (ширина больше высоты), то будут созданы 3 тумбы - вырезанные из центральной, левой и правой частей картинки. И наоборот.
Несколько попыток граба "проблемных" галерей. Если html-код галереи или картинку не удалось сграбить с первого раза, через некоторое время будут осуществлены еще несколько попыток граба. У серверов партнерок тоже бывают проблемы...
Наложение логотипа на тумбы от мувисных галь. Имеется возможность выбирать случайные лого и лепить их в случайный угол тумбы.
Фильтры собственной разработки. Например, усиление бликов и осветление темных мест тумбы.
Есть возможность для определенных зон ротации грабить только мувисные или пиксовые гали (или и те и другие). Например, можно сделать блок на морде сиджа только с пиксовыми или только с мувисными галереями. При этом не придется при вводе списка fhg специально отбирать, какие fhg нужны для пиксового блока тумб, а какие для мувисного. Скрипт все сделает сам.
Crop Profiles. Набор параметров кроппинга, таких как яркость, насыщенность, тип и расположение логотипа для мувисных тумб и т.д. можно сохранять в профайлах, количество которых не ограничено.
Постановка заданий в очередь на граббинг идет в случайном порядке. Дело в том, что сразу же после того как были отграблены первые тумбы, ротатор приступит к работе. Для того, чтобы контент для сиджа был максимально разнообразным, тумбы и галереи грабятся в случайном порядке.
Контроль времени выполнения граббера. Время выполнения скрипта и количество выполненных операций граббера за один шаг рассчитывается таким образом, чтобы не перегрузить сервер с одной стороны, и создать максимально возможное количество тумб за единицу времени, с другой. Иными словами, скрипт не будет перегружать загруженный сервер.



Ротатор:
Поддерживаются текстовые и тумбовые зоны ротации.
Выявление для каждой галереи лучшей тумбы. Для каждой картинки галереи будет сделана тумба. После тестирования всех тумб галереи, будет выбрана одна лучшая для дальнейшей ротации.
Неуникальным посетителям показываются новые тумбы. Скрипт отслеживает каждого посетителя, и осуществляет для него имитацию очень часто обновляемой TGP.
Плохой трафик (noref, nocoockie, noJS, поисковые боты и др.) а также двойные клики по одной и той же тумбе не влияет на подсчет статистики. Также не учитываются клики, сделанные после N-го (по умолчанию 8-го) клика. Т.е. различные боты и любой подозрительный траф не будет портить статистику по тумбам.
Адаптивная скорость регенерации морды сиджа. Это значит, что при минимуме статистики ротация будут происходить очень быстро — ротатор за считанные минуты выберет наиболее кликабельные тумбы, и не будет требовать уймы трафика для тестирования тумб. И наоборот, когда все тщательно протестировано, морда будет генерироваться один раз в 20 минут, что сведет нагрузку на сервер к минимуму.
Вычисление кликабельности ячеек в фоновом режиме. В большинстве скриптов подобного рода для тестирования популярности ячеек на морде необходим специальный режим. В StreamRotatore такого выделенного режима нет, все осуществляется в фоновом режиме. Скрипт сразу попытается установить ячейкам коэффициенты популярности, исходя из их расположения. И в дальнейшем будет плавно их корректировать.
Простая и гибкая система шаблонов. Одна минута — и морда сиджа готова: никакой ручной нумерации ссылок, мест для тумб и прочей ерунды. Есть возможность одновременного использования кодированных и некодированных урлов — например в alt-е или статусе мы показываем настоящий url, а в ссылке закодированный.
Статистика популярности тумб (ctr, rank) анализируется не за все время существования тумбы, а только за последние N - показов. Это позволяет более оперативно реагировать на изменение популярности тумб. Следует отметить, что статистика не просто сбрасывается после N количества показов, а перессчитывается плавно, без скачков.
Есть возможность отключить влияние на статистику ротатора определенных типов трафа. Например, при использовании подлива. Если ниша подливаемого трафика не совпадает с нишей Вашего сиджа, пускаем этот подлив на специальный url и этот трафик не будет влиять на статистику ротатора.
FTP модуль. Позволяет хранить тумбы на другом сервере.




Ну а теперь приоткрою завесу над ближайшими планами по развитию StreamRotator-а:

1. Affiliate Manager. Это менеджер партнерок/платников. Вам была бы интересна возможность проставить для тумб разных спонсоров разный ским? А хранить их на разных удаленных хостах? Удалять/отключать все FHG для какой либо партнерки одним щелчком мыши? Все это, а также массу других полезных вещей можно будет осуществить с помощью этого инструмента.
2. TGP-модуль. Тут все ясно. Плох тот CJ, который не мечтает стать TGP

Кроме этого Вас ждет масса полезных, и я бы сказал необычных новинок.

И не забывайте – если у Вас есть пожелания по расширению функциональности скрипта, разработчик будет счастлив воплотить их в жизнь

На все дополнительные вопросы я всегда рад буду ответить в этом топике, и по аське.

Последний раз редактировалось: dushik (24/06/06 в 01:32), всего редактировалось 1 раз

Желаю удачи с ротатором. Дело нужное.

Когда ожидается примерно уже рабочий и полнофункциональный TGP модуль?

Ближе к осени

Ну тогда ближе к осени и погляжу, брать или нет
А вообще хотелось бы услышать мнения твоих тестеров, да и урлы сайтов увидеть, на которых стоит твой ротатор.

хороший продукт всегда приятно использовать.как-нибудь попробую

Поздравляю с запуском... обязательно потестим.

heap-таблицы, которые "существуют только в памяти компьютера" в свап в итоге не вылезают?

Вот скриншот моего небольшого нетворка на котором это все хазяйство тестировалось:



Все сиджики имеют ским 70% и неплохо себя чуствуют. Прошу обратить внимание на количество трафика уходящего на галереи.

Вот собственно урлы этих сиджей, на которых можно заодно посмотреть на качество тумб (откропленных в полном автомате):
starsfactory.com
neon-girls.com
starsparadise.com
aggressivebabes.com
drbigboobs.com
x-glamour.com


Теперь приведу скриншотик, показывающий среднее время отработки инов и аутов ротатора по часам с самомо крупного моего сиджа (100-120k)



колонки означают: час, количество инов, среднее время ина в секундах, количество аутов, среднее время аута в секундах


И напоследок несколько слов о тех самых фильтрах которые "собственной разработки"

1. Shine. Фильтр усиливает блики на светлых участках картинки. Например:


Shine=0%



Shine=5% (default)



Shine=10%



2. Фильтр Dark. Освещает темные участки картинки:


Dark=0% (default)



Dark=30%
(внимание на волосы)

Петечка писал:

heap-таблицы, которые "существуют только в памяти компьютера" в свап в итоге не вылезают?

Нет, не вылезут, они очень небольшие

Так-с...
Как один из первых тестеров ротатора по просьбе разработчика описываю впечатления. Сиджами занимаюсь с 2002 года, ниши мейнстримные, есть ресурсы по 40-120К (сиджи и пара ТГП). Пользуюсь следующими ротаторами: Smart Thumbs, Hiramax Thumbnail Manager, Comus и любимый DTRotator.
Ротатор ставился на 2 ресурса, где работает и сейчас. Установка очень простая. Надо скачать с streamrotator.com архив с инсталлятором, залить install.php в директорию streamrotator или другую выбранную, перейти на него в браузере, указать хост/логин/пароль/имя базы mysql, добавить в крон выданную инсталлятором строчку, и все, инсталляция закончена.
За все время работы (2 месяца) не было _не одного глюка_, все стабильно и работает так, как предусматривалось. Для начала работы собственно не понадобилось даже читать документацию, все и так понятно и просто. настроил по своему вкусу нарезку тумбов, чтобы с тумба обрезался копирайт, (хотя получается очень неплохо и по дефолту), закинул список галер, подредактировал темплейт и через несколько дней, когда сграбились все тумбы, получил полностью рабочий сидж. Для чистоты эксперимента бралась та же база, которая была в прежнем ротаторе (не скажу какой именно, но один из самых популярных среди русскоязычных мастеров), без добавления новых галер. Делалось это чтобы сравнить проду. Stream Rotator грабит все тумбы с галеры, потом по очереди показывает их, и, когда все тумбы наберут нужное количество показов, остается только лучший, остальные удаляются. Что очень удобно, не надо тратить время самому на кроп. Кол-во показов можно выбрать в настройках, по дефолту 500 показов для каждой тумбы, что вполне достаточно. Результаты работы прежнего и нового ротатора сравнил через 2 недели (% немного плавал, поэтому называю средний), общая прода была 160%, стала 215%. Через некоторое время смог повысить % на контент с 50 до 60, прода только выросла, неслабо вырос и траф. Вероятно потому, что лучшие тумбы для каждой галеры выбираются все же самаими дорками, а не вебмастерами, и что равы видят каждый заход новые галеры, что тоже неслабо увеличивает проду.
Скрипт использует mysql, но это не имеет значения для тех, кто знает что такое heap таблицы, нагрузка на сервак ничуть не изменилась. Даже если база упадет (чего у меня не разу не случалось, тьфу-тьфу, но для эксперимента я такую ситуацию создавал), морда с тумбами остается на месте и трейд идет, траф не теряется (это комментарий для тех, кто боится падений базу .

Для сиджей с вертикальными (типа 90х120) тумбами предусмотрена интересная фича, нарезка нескольких кусков изображения, и из них уже выбирается лучший, ведь далеко не всегда самый кликабельный nev, получается из центра картинки, иногда что-то интересное бывает и с края.

Далее. О переносе сиджа на другой сервер. Элементарно и очень легко двумя кликами делается бэкап, получаем архив с тумбами и базой. на новом хосте снова ставим скрипт (2 минуты дел), переливаем туда файл бэкапа и восстанавливаем. Готово. Все настройки/темплейт/тумбы на новом месте. Сравните с процедурой переноса некоторых других скриптов

О настройках. Их минимум, есть только действительно нужные, и не надо читать длинные мануалы Лучше не трогать вообще, дефолтные идеальны. Ну, можно подстроить шарпинг/сатурейшн тумбов по своему вкусу. Есть подробный русский мануал, очень просто и понятно написанный.

По поводу админки. Все просто и понятно, добавление ротаторов (категорий), импорт галер, статистика, бэкап, автообновление скрипта.

Можно делать сколько угодно категорий с тумбами разного размера, например одновременно пиксовые и мувисные тумбы на одной морде.

Stream Rotator самое то, что нужно для сиджа, очень понравится как ньюбаям, так и ленивым мастерам вроде меня, которые не любят часами возиться с каждым сиджем, он почти не требует присмотра, ну разве что добавлять иногда новые галеры.

О недостатках. Их очень немного.
1. Нет переменной в темплейте для вывода кол-ва тумбов в галере (например: "16 thumbs").
2. Для оценки кликабельности тумбов потребуется время, хотя и сравнительно немного, то есть, не стОит ждать резкого прироста проды первые 2-4 дня, но это еще сильно зависит от количества трафа. Если на сидже уже есть хотя бы 10К, процесс пойдет намного быстрее, а если запускать с нуля, рекомендую подождать, пока сграбятся все тумбы, некоторое время поливать новым сидж трафом с других своих сиджей (или добавить трейд с ними), и уже потом добавлять сторонних трейдеров.
3. Нет ручной нарезки тумба. Иногда бывает, что надо скропить какой-то конкретный кусок пиксы и он будет кликабельным.

Впечатления самые положительные, скрипт вышел действительно супер, респект автору.

P.S. Заметил, что ротатор в 70% отбирает именно те тумбы с галеры, какие я выбирал и кропил сам

Прочел, очень заинтереовался, НО:

frolov писал:

О недостатках. Их очень немного. 1. Нет переменной в темплейте для вывода кол-ва тумбов в галере (например: "16 thumbs"). 2. Для оценки кликабельности тумбов потребуется время, хотя и сравнительно немного, то есть, не стОит ждать резкого прироста проды первые 2-4 дня, но это еще сильно зависит от количества трафа. Если на сидже уже есть хотя бы 10К, процесс пойдет намного быстрее, а если запускать с нуля, рекомендую подождать, пока сграбятся все тумбы, некоторое время поливать новым сидж трафом с других своих сиджей (или добавить трейд с ними), и уже потом добавлять сторонних трейдеров. 3. Нет ручной нарезки тумба. Иногда бывает, что надо скропить какой-то конкретный кусок пиксы и он будет кликабельным.

Этот недостаток я бы поставил на самое первое место и выше, чем достоинства.
Только по этой причине мысль купить сей продукт на корню иссякла.
Я обрабатываю ВСЕ тумбы вручную ВСЕГДА.
Автоматы - это для ленивых.

Автору респект за работу, удачи и процветания!
Надеюсь сей ОГРОМНЫЙ минус когда нибудь будет искоренен.
Хотелось бы попробовать что-то новое...

я раньше также ерундой занимался, вручную резал, чистил,
после правильной настройки ротатора, это желание давно пропало, а этот ротатор тубмы режет на раз, с установками по дефолту, у многих с ручной резкой, качество хуже

респекты будем пробовать

сделать ручной кроп +1
вам то пофигу
а людям приятно будет

а в бесплатной версии тумбы и скрипт надо на одном хосте держать?
а то неудобно так
у нас 2 хоста 1 подороже под скрипты и подешевле под графику

Hamradio писал:

а в бесплатной версии тумбы и скрипт надо на одном хосте держать?

Аха, именно так, на то она и бесплатная практически, 1% трафа и не заметишь
А ротатор отличный!!!!!

dushik писал:

И напоследок несколько слов о тех самых фильтрах которые "собственной разработки" 1. Shine. Фильтр усиливает блики на светлых участках картинки. Например: Shine=0% Shine=5% (default) Shine=10% 2. Фильтр Dark. Освещает темные участки картинки: Dark=0% (default) Dark=30% (внимание на волосы)

Очень неудачные примеры - в обоих случаях испортили оригинальную тумбу.

И вот такой вопрос есть ли режим ротации при котором в ротацию будут добавляться новые тумбы из уже отротировавшихся.

Т.е. есть 100 тумб в ротации мест для показа 20 - в итоге отобралось 30 самых лучших тумб - но надо сделать так чтобы остальные 70 не выбросились а постпенно заного подбрасывались в ротацию

ЗЫ попробую на новом сидже этот ротатор.

Kn писал:

Очень неудачные примеры - в обоих случаях испортили оригинальную тумбу. И вот такой вопрос есть ли режим ротации при котором в ротацию будут добавляться новые тумбы из уже отротировавшихся. Т.е. есть 100 тумб в ротации мест для показа 20 - в итоге отобралось 30 самых лучших тумб - но надо сделать так чтобы остальные 70 не выбросились а постпенно заного подбрасывались в ротацию ЗЫ попробую на новом сидже этот ротатор.

Возможно не самые удачные - взял первые попавшиеся.

Насчет режима. Так стрим и работает. После того как все тумбы протестированы и для каждой гали выбрана одна лучшая, на морде будут тестироваться тумбы которые не вошли в топ самых популярных. Причем чем выше популярность тестируемой тумбы, тем чаще она тестируеться.

Что то я не понял как тэмплэйт правильно сделать
Во первых, как сделать чтоб он морду делал в корне
/index.sthml а не /stream/face.html ?

И во вторых я вижу такю ошибку на face.html
#ERROR - UNDEFINED SUBTAG 1

Avva писал:

Что то я не понял как тэмплэйт правильно сделать Во первых, как сделать чтоб он морду делал в корне /index.sthml а не /stream/face.html ? И во вторых я вижу такю ошибку на face.html #ERROR - UNDEFINED SUBTAG 1

Во-первых, морду ротатор не делает, точнее делает, но не в том понимании как это есть у большинства ротаторов. Через индекс нужно инклудить stream/in.php;

Во-вторых, советую для начала просто скопировать пример (ссылочка example в админке) в темплейт и на его основе уже клепать свое;

Ну и в третьих... http://streamscripts.com/rus/guide.php - замечательный помоему мануал, где просто и неразмазанно расписано все что нужно для управления ротатором

хороший ротатор. юзаю. нравится.

вот.

Разобрался с мордой Правда в мануале ясно не описано, приходится додумывать.

Кстати а что это за прикол
str/out.php?l=#POS#&u=/cgi-bin/at3/out.cgi?s=50&u=#GAL#
так ским работает

str/out.php?l=#POS#&u=/cgi-bin/at3/out.cgi?u=#GAL#&s=50
а так нет. Почему?

Avva писал:

Разобрался с мордой Правда в мануале ясно не описано, приходится додумывать. Кстати а что это за прикол str/out.php?l=#POS#&u=/cgi-bin/at3/out.cgi?s=50&u=#GAL# так ским работает str/out.php?l=#POS#&u=/cgi-bin/at3/out.cgi?u=#GAL#&s=50 а так нет. Почему?

Потому что не удосужился мануал от ATL прочитать в котором четко написано что параметр &u= должен быть последним.

Скачал - поставил - поломал голову что писать в MYSQL Host написал - localhost - прокатило.

Забросил списком свои тумбы
минуса два
у меня в галере 12-15 тумб
1е нельзя в бить в строку импорта больше трех тумб
2е нельзя повесить на один урл больше одной тумбы

ну и еще один небольшой минус - количество пиксов в галере после добавления списком - определено как 0

мммммда....я так понял с кроном тока у меня проблемы?
почему запускается крон.... без ошибок, почему исполняется команда в кроне, без ошибок, почему в системных логах нет ошибок, почему стрим ротатор не выдает ошибок. Тое сть все проходит гладко, но cronjob не выполняется? а? что я неправильно делаю?