Наполнение контентом вашего нетворка (SmartCJ Update 47)

Всего то месяц назад вышел апдейт 47, который еще не рекламился на форуме :)

А апдейт тем не менее очень полезный (как и все предыдущие :)

Итак, основная проблема, которую решает апдейт - автонаполнение контентом из разных источников. Разные спонсоры предоставляют урлы в разных форматах: RSS (причем многие используют не описанные стандартом поля), XML, дампы. И если RSS можно был добавлять прописав их в группах, то XML и дампы можно был добавлять только руками. Это неудобно для автоматического наполнения контентом. Теперь для этого существуют импорт сеты. Обратите внимание, что РСС в группах и спонсорах остались только для того, что бы оттуда можно было скопировать данные.

Преимущество импорт сетов в том, что можно автоматически, через указынный промещуток времени, импортировать галеры практически из любого источника, при этом выполняя с ними любые действия как при ручном импорте, например создать кастом гали, досбавить в несколько категорий,опредлить создание дополнительных тумб и тп.

Как это работает: Rotation - Import Sets, жмем "Add New" - открывается форма Import с единственным исключением - вверху форма для ввода урла. Надо ввести URL, время переграба (24 = каждые 24 часа) и разделитель. Разделитель актуален для дампов, и обычно это символ "|". Жмем Test - скрипт пытается опредлить поля в контента предлагаемом урле. Для неопределенных полей надо или Skip или самостоятельно выбрать что в этом поле. Наже выбираем параметры импорта как в привычной форме импорта. Жмем Save. Все.

Hints

* В РСС часто тумба идет не как прямой урл до тумбы, а как таг <img src=....>. Для этого поля надо выбирать не Thumb, а Parse Thumb.
* Delimiter - это разделение полей, в дампах это обычно | , в RSS обычно item, но бывает еще video. Разобраться с этим несложно: надо открыть урл в браузере и посомтреть в код страницы, 99% вы сразу догадаетесь что писать.



Import : Deep fetch

Некоторые спонсоры делают ФХГ таким образом, что тумба в галере линкуется не на полную картинку, а на отдельную страницу в которой и есть большая картинка. Ранее SmartCJ не грабил такие галеры, тк ожидал content-type = jpg при нажатии на тумбу. С версии 47 появилась опция Deep fetch при включении которой скрипт проверяет все линки и скачивает все картинки, пытаясь обработать такой тип галер. Обратите внимание, что это медленно, очень медленно, поэтому ставьте эту опци толкьо в том случае, если без нее не грабит.

===== Replacements =====

В Rotation - Settings - Import Replacements можно добавлять автозамены. Это полезно в случаях когда надо в Tube Import либо любом другом варианте импорта автоматически заменять какие-то части, например размер плеера для ембедов или части урлов.


===== Remote Pages =====

В сетингах ротации. Например, у вас есть отдельный скрипт для линктрейда который формирует блок линков, или баннер в виде html кода, или вы просто перелинковываете ваши сайты. Одним словом, вам надо включить какой-то код в темплейт всех сайтов и при этом иметь возможность легко его менять на всех сайтах сразу.

Самый простой способ - iframe, но это некрасиво.
Если в пределах одного сервака - можно делать include('path_to_file'), однако это нельзя делать если файл находится на удаленном серваке.
Для этого и добавлены Remote Pages, которые задаются в формате http://other_server/1.html|somepage.html
Каждые 15 минут скрипт скачивает http://other_server/1.html и сохраняет как /scj/rot_pages/somepage.html, и позже вы можете заинклудить это как локальный файл include('/home/user/domain/scj/rot_pages/somepage.html').

можно задавать просто как урл (http://other_server/1.html, те без somepage.html) - тогда страница будет сохранена с оригинальным именем, те как 1.html


===== Order by rating =====

До 47 было 3 варианта сортировки контента: CTR, Date and Duration. Теперь добавлися 4й - Rating. Пользоваться очень просто: простой вариант /?group_id=1&order=rating. В реврайтах обычно урлы получались вида /category/1/category_name/ctr/1/, для рейтинга это будет /category/1/category_name/rating/1/.



===== Synonymize descriptions =====

В сетингах ротации есть опция синонимизации описаний. Ранее она действовала только на описания галер добавленных через "Tube Import", сейчас она действует на весь импорт. Файл с синонимами - scj/includes/conf/syn.txt, его можно редактировать из админки в Settings - Config Files, но он довольно большого размера и скорее всего его удобней редактировать в каком-то полноценном редакторе. Формат простой - просто перечисление синонимов через запятую. Дефолтный файл - автогенеренный, если кто-то может поделится нишевым - заранее спасибо.


===== content_not_found =====

До 47 если вы удаляли контент, а гугл уже успел его проиндексировать люди могли приходит на галеры, которых уже нет. А если их нет - показывался индекс. Говорят, это неправильно для SEO, поэтому появился темплейт content_not_found, который показывается если контента нет.


===== Template Transfer =====

В CMS Templates внизу появился блок "Template Options" с возможностью скачать или закачать все темплейты сразу. Это очень удобно если у вас на одном сайте уже настроено все и вы хотте скопировать все темплейты на новый сайт и запустить его с минимальными изменениями. Кроме того, это очень удобно для верстальщиков\дизайнеров: можно верстать у себя на локале, а потом одним кликов загрузить все темплейты к заказщику.

Скачиваемый файл это обычный sql файл, будьте аккуратны - сделанные изменения нельзя "откатить".


===== Category Thumbs =====

Если у вас мультинишевый сайт, то обычно на индексе тумбы категорий. По дефолту это первая тумба по ЦТР из соответствующей категории, в Rotation - Tube - Tube Settings появилась возможность выбрать тумбу. Фича тестовая. Но вдруг вырастет прода :)

Кроме этого появилась настройка Content type для тумб категорий. Это надо в тех случаях, если у вас мультиконтентный сидж (те если и пикчи и мувики) и при этом их пикчей делаются горизонтальные тумбы, а из мувиков вертикальные. А дизайн индекса у вас заточен например под вертикальные - в этом случае вы можете выбрать тип контента. Если у вас одинаковые размеры тумб или контент одного типа - ничего менять не надо.


===== Related Galleries =====

На страницах кастом галерей под контентом обычно располагаются еще тумбы. По дефолту это тумбы из той же категории. Теперь в Rotation - Tube - Tube Settings можно выбрать Related type. Более того, этим парметром можно управлять из урла, например &tube_related_type=category (еще варианты tag и sponsor).


===== Gallery Slug =====

До 47 все линки на галеры выглядели примерно так http://domain/gallery/some_descriptions/4343jh43k/index.html. В 47 хотелось бы сделать переход к виду http://domain/gallery/some_descriptions/index.html, что выглядит лучше с эстетической точки зрения. Для галер с олинаковыми описаниями в слаг будет добавляться циферка, например http://domain/gallery/some_descriptions**1**/index.html.

Конечно, все старые урлы в целях обратной совместимости будут работать как и ранее. Для того, что бы перейти на новые вариант надо добавить реврайты

Код: [развернуть]

#slug galleries RewriteCond %{QUERY_STRING} ^(.+)$ RewriteRule ^gallery/([^/]+)/index.html$ /scj/cgi/out.php?link=images/%{QUERY_STRING}&url=content&slug=$1 [L] RewriteRule ^gallery/([^/]+)/index.html$ /scj/tube/?slug=$1 [L] RewriteRule ^gallery/([^/]+)/$ /scj/tube/?slug=$1 [L] RewriteRule ^gallery/([^/]+)/([0-9]{1,2}).html$ /scj/tube/?slug=$1&item_id=$2 [L]

и сменить в сабтемплейтах

/gallery/<!--SAFE_DESC-->/<!--GALLERY_ID-->/index.html

заменить на

/gallery/<!--GALLERY_SLUG-->/index.html

Все.

===== Category Slug =====

Практически аналогично Gallery Slug. Ранее ссылки на категории в обязательном порядке содержали ИД категории, например /category/15/category_name/ctr/1/, где 15 - это ИД категории. Теперь линку можно немного "урезать" до /category/category_name/ctr/1/ или даже /category/category_name/. Что опять же хорошо с эстетической точки зрения, старые линки будут работать так же как и работали.

**Как это сделать**


1. Добавляем реврайт

Код: [развернуть]

RewriteCond %{QUERY_STRING} ^(.+)$ RewriteRule ^category/([^/]+)/$ /scj/cgi/out.php?link=images/%{QUERY_STRING}&url=content&p=100&skip_to_cookie=true&skip_sell=true&group_name=$1&order=ctr [L] RewriteRule ^category/([^/]+)/$ /scj/tube/index.php?group_name=$1 [L] RewriteRule ^category/([^/]+)/([^/]+)/([^/]+)/$ /scj/cgi/out.php?link=images/%{QUERY_STRING}&url=content&p=100&skip_to_cookie=true&skip_sell=true&group_name=$1&order=$2&page=$3 [L]

2. Меняем в темплейтах

<code>
например было

<category order=alphabet num=1-5>
<li><a href="/category/<!--CATEGORY_ID-->/<!--CATEGORY_NAME-->/ctr/1/"><!--CATEGORY_NAME--> (<!--TOTAL_ITEMS-->)</a></li>
</category>

делаем

<category order=alphabet num=1-5>
<li><a href="/category/<!--CATEGORY_NAME-->/"><!--CATEGORY_NAME--> (<!--TOTAL_ITEMS-->)</a></li>
</category>

</code>

Код: [развернуть]

Все.

===== Cast priority =====

Если у вас большая неотротированная база, а вы только что добавили своего любимого спонсора и хотели бы что б его тумбы начали теститься первыми - отметьте при импорте cast priority. Эти тумбы будут протестены первыми.


===== <!--SCJ_INCLUDE--> =====

В темпелйтах по дефолту должен быть этот таг, это инклуд который считает траф и ставит куку. Хотелось бы толкьо обратить внимание на то, что если вам не надо считать траф на определенных старницах - надо просто не ставить этот таг. Это бывает полезно если например у вас мастер трейдит со слейвом и при этом слейв в качестве контента шлет на мастер.

===== <!--CASTS--> =====

с <!--CASTS-->, он же <!--SHOWS--> была следующая проблема: например у нас 3 тумбы на галеру. На странице с листом тумб таг <!--CASTS--> работал как надо, а на странице самой галеры уже нет, тк для этой галеры 3 тумбы. Теперь <!--CASTS--> действует более логично - около тумбы показывает сколько было показов конертно этой тумбы, а на галерее - соклько показов галереи.


===== Tag Cloud =====

Появилось пара измения по тагам:
* Таги можно копировать между сайтами (в Global Admin)
* В файле scj/includes/conf/gal_cloud_skip.txt содержатся стоп-слова, которые не будут добавлены в таги никогда. Это полезно даны вам не приходилось разбирать на каждом новом сайте таги типа a,the,is,of и прочее


===== Test feature: rotate page for rows =====

В Rotation - Tube - Tube Settings тестовая опция ротирования страниц для равов. Смысл в следующем: если у вас на индексе тумбы и приходит рав, то автоматически ему показывает 2ю страницу. Если видел 2ю, то 3я, и так далее. Аналогично для категорий: если приходит прямо на категорию и данную страницу категории уже видел - показываем ему следующую. NOTE! Это правило срабатывает только в том случае, если реферер не ваш домен. Сделано дабы человек кликая с морды на тумбу категории всегда видел эту тумбу на открывшейся странице (те ему надо видеть первую страницу категории).


====== Trade ======

===== Traffic Sell =====

В Traffic Rules - Sell Traffic появилась возможность указывать, какой конкретно траффик слать на продажу (Sell only this countries). Через запятую названия стран в соответствии в тем, как их называет mod_geoip ISO 3166 (например: US,DE)


===== Toplist =====

В сетингах TOP settings следующие измения:
* добавлена опция How often do you want script to recreate thumbs, hours , по дефолту (и до 47 апдейта) тумба грабилась каждые 1-2 дня рендомно. сейчас можно самостоятельно указать время. В целом уменьшение времени сказывается хорошо на проде, но к этому надо подходить очень аккуратно, тк если у вас например 20 сайтов по 150 трейдеров - это 3000 тумб. Уменьшая время пересоздания тумб - смотрите на нагрузку сервака.
* "How many thumbs" - можно создавать более одной тумбы. По дефолту (и до 47) берется первая тумба со страницы трейдера и сохраняется как scj/top/tt/trader.com.jpg Если у нас больше чем 1 топ трейдеров (например на инедксе один, на страницах категорий другой и тп) можно грабить более одной тумбы , они будут сохраняться как scj/top/tt/trader.com2.jpg , scj/top/tt/trader.com3.jpg и так далее. Опять же - пользуйтесь аккуратно, потому что если к примеру о 3000 тумб в предыдущем пункте добавить еше например 3 тумбы, то это будет 3000*3 = 9000 тумб.
* "Extra thumb" была и ранее, но в связи с пердыдущими пунктами стоит добавить, что она так же создается, если вы задали соответствущие параметры для нее. Например, если у вас на сидже топлист одного размера, а на галерах - другого (и там и там под размер остальных тумб). Тумбы создаются с именами вроде trader.com.jpg.extra.jpg, а так же для остальныех как trader.com.jpg2.extra.jpg, trader.com.jpg3.extra.jpg и тп. Аккуратно относитесь к этим настройкам, так как если в примеру в 9000 тумб добавить еще и Extra thumb то это будет 9000*2 = 18000 тумб.


===== Banned words =====

В Settings - Config Files есть файл banned_words.txt
Слова из этого файла проверяются на наличие в страницах и whois трейдера,и если они там есть, трейдеры отмечаются по дефолту желтым цветом в Trade. Этого файла коснулись небольшие изменения: теперь если написано word то скрипт будет искать именно word как слово слева и справа от которого пробел или <>. и если будет написано в странице preword но фильтр не сработает. Если надо что б фильтр сработал и на preword (те надо вхождение слова) надо писать *word. А если надо и на prewordsome то *word*

===== Exout =====

В сетингах есть опция "After all trades from outgoing list send to " появился новый выбор "To the rest of traders + 100% skim after ALL traders" смысл который в том, что если серфер прокликал всех трейдеров - слать его 100% на контент. Это актуально если у вас мало трейдеров (меньше чем значение Max Counted clicks (ie all clicks after click number X go to overclick) ). Если же у вас трейдеров больше, то можно просто поставить персональный ским для оверклика.


===== Traffic Rules - redirects =====

Ранее можно было задавать только 1 параметр для кликов (например, 1 или 4, что значит соответственно первый или 4й клик) и если вам надо было редиректить и первый и 4й клик приходилось делать 2 правила. Теперь можно указать несколько через запятую. Аналогично и для значения переменной.


===== Average Prod (All history) =====

В Trade появилась новая колонка - Average Prod (All history). Смысл ее в том, что скрипт смотрит хистори и отображает среднуюю проду этого трейдера за все время хистори. Таким образом, если у вас есть трейдер, у которого внезапно упала прода, - можно видеть среднюю за все время трейда с ним (насколько хватает хистори). Добавляются колонки в Settings - Layouts.


===== Quality settings =====

Теперь можно задавать схемы скима для отдельных стран \ языков полностью аналогично всем остальным скимам, те через запятую, например 100,50,80 . Note- последняя цифра повторяется, те 4й и далее клики будут иметь ским 80.

LemonS, молодца как всегда
кстати пожелание: не удобно местами фак читать - апдейты выходят, что то меняется, а изменения пишутся только в отдельной ветке, где все факи, а в тех местах гже уже что то обновилось - инфа получается не актуальна! очень не удобно читать и сложнее понять... и было бы не плохо под каждой опцией сделать маленькую ссылочку на подробное описание в факе

Manowar: в плане в админке ссылку на описание в факе или в вики ?

а про какой фак речь, может я упустил че? вот тут я имею ввиду http://smartcj.com/wiki/doku.php

Manowar: сорри, в плане в скрипте самом ссылки на фичу в вики ?

ага