CDN из двух серверов?

Подскажите решение, как синхронизировать и регулировать отдачу контента на 2х серверах?
Для начала хотябы как организовать синхронизацию контента? rsync тут не рулит ибо в качестве куча статики в виде тумб, а как известно рсинк испытывает в этом случае задержку и тумбы будут с определённой переодичностью "битыми" из-за несостыковки синхронизации и отображения тумб.

Кластерную ФС ищи.

Мне очень нравится MogileFS, несмотря на некую кривизну реализации. Но это не POSIX система, не знаю как она ляжет на тумбо-менеджмет софт. Хотя была разработана livejournal именно для хранения тумб. Я перепробовал много чего, но MogileFS реально показывает нереальный перформанс.

Если нужен именно POSIX, то можно посмотреть в сторону GlusterFS.

использовать ротаторы, позволяющие хранить тумбы на другом хосте, не вариант?

Настраиваем такое, на серверах взятых у нас.

rsync давно умеет копировать сначала в tmp-файл

а что значит регулировать отдачу? если два сервера на одной площадке - то любой балансер. а если в разных странах - для bind например был geodns

Если стоит nginx, то в нем можно настроить проксирование, если локально картинка не найдена.
Тогда с rsync проблем быть не должно.

а кто тебя заставляет юзать рсинк для синхронизации всей директории с контентом, один раз рсинкнул а далее запускай его только для обновляемых/новых и никаких задержек т.к не нужно строить листинг из лямов тумб.

Doctor писал:

использовать ротаторы, позволяющие хранить тумбы на другом хосте, не вариант?

Какие юзаю, такие уж и юзаю. Например, менять место жительство из-за того, что в доме плохой провайдер - полный бред! Но это как на мой взгляд!

div писал:

rsync давно умеет копировать сначала в tmp-файл а что значит регулировать отдачу? если два сервера на одной площадке - то любой балансер. а если в разных странах - для bind например был geodns

Как бы рсинк не умел, но его надо дёргать. Тумбы обновляются в реалтайме. Значит по закону мёрфи, да и просто по логике возможны провалы между синхронизацией рсинком с сервера А на Б и попыткой отобразить контент с сервера Б в этот самый момент.


Хе, сайты апдейтятся ежеминутно. Запускать тиак часто рсинк - не комильфо. В остальном, как я уже описал выше.

Вобщем, рсинк, - система для других целей. А точнее, в его использовании подразумевается интервал. Апдейт статики не совместим с интервалом. Тут без вариантов. Может только поможет проксирование, о котором говорил Stek, но я пока о таком ничего не знаю.

S_Flash писал:

Как бы рсинк не умел, но его надо дёргать. Тумбы обновляются в реалтайме. Значит по закону мёрфи, да и просто по логике возможны провалы между синхронизацией рсинком с сервера А на Б и попыткой отобразить контент с сервера Б в этот самый момент.

ну во-первых там есть всякие rsyncd и прочие. во-вторых лучше в таком случае настроить тумбообновлялку чтоб она записывала локально + на удаленный по NFS. а в третьих - добро пожаловать в мир репликации данных, где всё отваливается, тормозит, падает и сплошные законы мёрфи. даже oracle этим постоянно грешит.

но грамотно настроенный фронтенд, как тебе уже советовали nginx, haproxy или даже апач, который возьмет запрашиваемую картинку локально а если такая картинка не найдена - с другого сервера, решает 99% таких неувязок.

S_Flash писал:

Может только поможет проксирование, о котором говорил Stek, но я пока о таком ничего не знаю.

А все просто, админов своих попроси сделать.

Грубо говоря в конфиг домена :

Код:

try_files $uri @proxy;         # development     location @proxy {         proxy_pass         http://zerkalo.com;         proxy_redirect     off;         proxy_set_header   Host             $http_host;         proxy_set_header   X-Real-IP        $remote_addr;         proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;     }

Если локально файл не найден, то будет попытка взять его с другого сервера. Тут можно еще и кеширование подключить по желанию.

насчёт синхронизации картинок кстати когда-то решили вопросы банальной репликацией БД - картинки пишутся в BLOB'ы, реплицируются средствами БД а отдаются из прокси. типа squid наизнанку поставить или аналог. тогда в базу ничего особо не лазит и получается даже чуть быстрее чем с фс.

но главное чтоб у картинки был уникальный URL, т.е. например при изменениях обязательно ID менялся. иначе будет кеш отдаваться пока не проэкспайрится.

но это как раз хорошо для тумб. для HD-картинок и мувиков не сильно катит - великоваты.

S_Flash писал:

Подскажите решение, как синхронизировать и регулировать отдачу контента на 2х серверах? Для начала хотябы как организовать синхронизацию контента? rsync тут не рулит ибо в качестве куча статики в виде тумб, а как известно рсинк испытывает в этом случае задержку и тумбы будут с определённой переодичностью "битыми" из-за несостыковки синхронизации и отображения тумб.

какие сервера... подключай cloudflare.com будет отдаватся вся статика с их серверов просто привязываешь домен на их ns сервера, там в админке указываешь ip своего сервера. вот и все. также у них можешь настроить куда больше разных опций, к примеру удобно блочить страны, ботов, много настроек. мы используем на куче сайтов и никаких проблем.

ИМХО такие вопросы были актуальны лет 7 назад, на том же Опенере в Тае это тогда обсуждали.. Сейчас эра глобальных CDN, у каждых своя цена, качество, скорость.. Выбирай - не хочу.. Зачем изобретать велосипед, тратиться на железо и тд, когда по качеству и скорости это не сравнится один фиг с топовыми решениями.. Да и на каких каналах эта доморощенная CDN будет строиться? :-) На быстрых и дорогих? Что-то я сомневаюсь..

Глобальный CDN не нужен.
Специально для реселлеров: У меня уже есть провайдер CDN! Если предложите бесплатное хранилище и трафик не выше $3 за мегабит, то подумаю о переходе!

S_Flash писал:

Если предложите бесплатное хранилище и трафик не выше $3 за мегабит, то подумаю о переходе!

стукни сюда

oldaser писал:

стукни сюда

Ага и хранилище в виде сервака на шару с 10 Тб дисков. Не тратте время.

Самый простой вариант nginx + прокси до "мастер" сервера (где хранятся тумбы) и настроить кеширование! в nginx, чтобы он за каждой тумбой на мастер не лазил (а только 1 раз и потом хранил копию в локальном кеше нужное время), главное размер кеша чтобы соответствовал размеру всех тумб.

Для балансировки подойдет две А записи в днс для домена картинок.

S_Flash писал:

Ага и хранилище в виде сервака на шару с 10 Тб дисков. Не тратте время.

Наверное для кого-то решение "синхронизировать и регулировать отдачу контента на 2х серверах" будет лучше чем решение "cdn от edgecast в комплекте с бесплатным data storage".
Но это не наш случай. Наши клиенты получают второй вариант, причем по очень конкурентным ценам.
Кстати, написать в сапорт и получить ответы на интересующие вопросы не занимает много времени. Так же как и переключение на CDN обычно происходит быстро.
К тому же, всегда есть возможность попробовать бесплатно - вся информация есть на сайте.

MaxGMG: а можно по подробнее про cloudflare.com ? У них написано что и на бесплатном тарифе статика с них пойдет, как такое возможно?


We never charge for bandwidth

CloudFlare will never bill you for bandwidth usage. We believe if your site suddenly gets popular or suffers an attack, you shouldn't have to dread your bandwidth bill.

oldaser писал:

Наверное для кого-то решение "синхронизировать и регулировать отдачу контента на 2х серверах" будет лучше чем решение "cdn от edgecast в комплекте с бесплатным data storage".

Именно тиак и есть, CDN не подходит под данное решение.

Born Leader писал:

MaxGMG: а можно по подробнее про cloudflare.com ? У них написано что и на бесплатном тарифе статика с них пойдет, как такое возможно? We never charge for bandwidth CloudFlare will never bill you for bandwidth usage. We believe if your site suddenly gets popular or suffers an attack, you shouldn't have to dread your bandwidth bill.

ставь фришный тариф все ок сами используем никаких проблем нет, прикол в том что если тебе понадобится к примеру ддос защита или дополнительные возможности которых там много очень то это все платно, но все равно дешево

Я бы хранил контент на одном большом сторадже и воспользовался услугой стороннего CDN проекта.

Зачем нужны лишние расходы на CDN, если там трафа пшик и контента на 1TB?
При этом у меня полупустой сервер простаивает. При этом основная цель - продублировать статику для бэкапа.

Тест CDN не дал никаких положительных результатов, только увеличил расходы.

если цель бекап - то обычный рсинк - по нфс справится легко

если отдавать тумбы - то можно на "говне и палках" сделать так что один серв будет отдавать 2гбпс в пике - просто сервер должен быть соответсвующий и решение по кешированию тумб в память

S_Flash писал:

Ага и хранилище в виде сервака на шару с 10 Тб дисков. Не тратте время.

Да хоть 72 тера тебе дам бесплатно, зависит от того, сколько у тебя траффика, если 10 мегабит, то и связываться не буду, а если от 1000, то подумаю.. И траффик сделаю по $3, причем от провайдера, который по качеству и скорости входит в ТОП3 в мире.. Описал бы сперва свои потребности четко, прежде чем других просить не тратить время..