Снова вопрос хранения данных

Привет товарищи.
Прикупила себе D800 и 1424/f2.8.
За месяц работы с новым щелкунчиком получилось 11800 фотографий. Это 240Гбайт.
Я ужасаюсь и не понимаю где хранить такие объёмы информации.
Подскажите оптимальный вариант хранения данных дома, рассчитанный на прирост до 5ТБ в год.
Не удалять же снятое по мере его неактуальности.
А если я куплю Canon EOS C500, то наверное я впаду в обморочное состояние решая вопрос где хранить 4К исходники видео.

Покупаешь оптимальный по критерию объем-цена 3.5 жесткий диск SATA и переходник или док-станцию USB-SATA.
Подключаешь к компу по USB, заполняешь, ставишь на полку и т.д

Последний раз редактировалось: ^Krot (26/11/19 в 16:31), всего редактировалось 1 раз

Почему не советуете RAID6 из двенадцати 3ТБ дисков?
У меня есть всё, кроме надёжных дисков для этого.
Стоящие на полке НЖМД могут внезапно размагнитиься или не могут?

Мне бы систему быстрого доступа к данным. Можно для этого второй системник собрать, благо почти всё имеется. Кто на чём хранит контент своих партнёрок?
Ведь стоимость накопленного контента почти всегда зашкаливает за 100Кбаксов.

не у меня, а у товарища вот такая штука http://www.ferra.ru/ru/networks/review/8-HDD-external-RAID-DAS-CFI-…t-0-eSATA/
или очень похожая.

Диски - серверные, 12к оборотов, SAS, 2 Тб каждый. + стойкость к износу. RAID10
Стоимость - $2,5к
Есть проблемы с операционками, а именно с определением дисков оными. Немного помучился, и работает как часы.

Margere писал:

Почему не советуете RAID6 из двенадцати 3ТБ дисков? У меня есть всё, кроме надёжных дисков для этого. Стоящие на полке НЖМД могут внезапно размагнитиься или не могут? Мне бы систему быстрого доступа к данным. Можно для этого второй системник собрать, благо почти всё имеется. Кто на чём хранит контент своих партнёрок? Ведь стоимость накопленного контента почти всегда зашкаливает за 100Кбаксов.

Я наверное сомсем не выделюсь, потому что уже видел на форуме такой же вопрос. Но суть в чем. Как-то уж странненько, или точнее - специфично HDD обзываете)) В органах не работали?)

Margere: Поставить на полочку десяток винтов-это дешовый вариант.
Собрать эти диски в сервак-более дорогой, н более удобный, конечно.
Можно собрать самому или заказать сборку-конфигурацию на основе материнки с RAID контроллером. Есть еще домашние медиа-центры, это сервак с предустановленной парой дисков и гнездами еще для нескольких. Конкретно модель не скажу, но не думаю, что сейчас можно нарваться на неработающие решения.

Margere писал:

Стоящие на полке НЖМД могут внезапно размагнитиься или не могут?

В смысле простые харды ? Могут по идее. Их поэтому рекомендуют минимум раз в год включать.

Я вообще бы сходил в среднего размера компьютерный магазин и описал бы ситуацию. По идее должны предложить что то вроде NAS с возможностью быстрого физического доступа к диску. Ну и докупать винты по мере надобности. А так, держать работающую стойку из десятков дисков - имхо нет смысла.

Контроллер ещё в том году купила, новый adaptec-71605, 4 порта sff-8643.
Есть всё для сборки компьютера СХД.
Остаётся самое малое - определиться с жёсткими дисками.
Надёжные 3ТБ стоят по 6500р за диск.
Купить сразу 16 дисков и пару дисков для подмены в случае чего.
Из 16 дисков получится эффективный объём 36ТБ. Как раз хватит разместить текущий снятый контент (11ТБ) и хватит на 5 лет продусьёна.

Вообще есть тут люди снимающие хотя бы 60000 фотографий (полный кадр, не менее 36мпикс) в год?
Себастьяно, что же ты скажешь? Ты ведь контента снимаешь сотни сетов в месяц.

Margere писал:

Купить сразу 16 дисков

а через 2 года опа - 36тб винты продают по цене в 30 раз меньше чем стоили эти 16 дисков, которые к тому времени еще не заполнены полностью

Margere писал:

Ты ведь контента снимаешь сотни сетов в месяц.

Margere писал:

месяц работы 11800 фотографий

хотелось бы увидеть фоты указательных пальцев ваших правых рук... или что там уже, протезы может

Margere писал:

есть тут люди снимающие хотя бы 60000 фотографий (полный кадр, не менее 36мпикс) в год?

понт засчитан
но объясните зачем хранить исходники? чем плохи jpg в таком-то разрешении?
или это ниша такая, ценителей пор на коже?

Margere писал:

Контроллер ещё в том году купила, новый adaptec-71605, 4 порта sff-8643. Есть всё для сборки компьютера СХД

выходи за меня!

про борщ сперва спроси

div, класс...всегда будет о чем с женой поговорить

Я сохраняю исходники в JPEG формате. Упаси Бог хранить 70Мбайтные NEF-файлы.
А что удивительного в том, чтобы отснять 11К фотографий в месяц?
Вчера работала, сняли 980 снимков (60 из них отбраковали). В субботу сняли 1600 снимков.
Или вы можете только чьё то продавать, как адвёрты? Почему не хотите своего что то создать и продавать?

Так как крупные продюссеры партнёрок хранят контент?
Себастьяно Переро признавайся пож-ста.

div: да вы еще тут не читали Подскажите как хранить контент?

вангую, после прочтения сами с паспортом явитесь к ней)

Margere писал:

и продавать

всего лишь, такая мелочь

Margere писал:

А что удивительного в том, чтобы отснять 11К фотографий в месяц?

тут не у всех фотоаппарат такой есть а ты про 11К в месяц

Цитата:

Или вы можете только чьё то продавать, как адвёрты? Почему не хотите своего что то создать и продавать?

так нету возможности взять фотик пока + не хочется заморачиваться где хранить фотки

Цитата:

Вчера работала, сняли 980 снимков (60 из них отбраковали). В субботу сняли 1600 снимков.

60 брака из 980, какая ты молодчинка все-таки, все в восхищении я думаю

Margere писал:

За месяц работы с новым щелкунчиком получилось 11800 фотографий. Это 240Гбайт. Я ужасаюсь и не понимаю где хранить такие объёмы информации. Подскажите оптимальный вариант хранения данных дома, рассчитанный на прирост до 5ТБ в год. Не удалять же снятое по мере его неактуальности. А если я куплю Canon EOS C500, то наверное я впаду в обморочное состояние решая вопрос где хранить 4К исходники видео.

Не совсем понятно, это же не для себя такие объемы, а для клиентов? Тогда зачем их хранить и тем более дома.
Для себя дома держу NAS от Synology, 4 диска по 3 тера вмещает, есть модели и более емкие, для своих фоток и киношек вполне хватает.. А для клиентов есть 24x3TB сервера, и дома им нечего делать, они стоят в стойке с бэкапным питанием, как и положено..

DiamonD:
Для себя снимаю всё.
Я обновляю 3 платника. В планах открыть ещё обособленный сайт, содержащий контент только одной модели, самой любимой всеми.
Просто следую принципу - снимай пока не запретили и пока модели не расхотели.
Собственно бывает так, что затраты на съёмки троекратно больше прихода с сайтов.
Но для этого есть официальная работа, в кадастрово/юридической сфере.

Для таких целей я бы тогда взял что-то типа
http://www.synology.com/products/spec.php?product_name=DS1513%2B&lang=rus#p_submenu
Когда 5 дисков забьется, там есть возможность подключения другого девайса и расширения до 15 дисков..

вот тебе пара советов по теме

- рейд 6 одной группой на 16 дисков это немного перебор. на 10 нормуль. но лучша 50й на две группы по 5.

- зря ты такой адаптек для схд купила. лучше бы купила дешевых HBA и каскадные корзины если бы нашла, далее raidz/raidz2 на freebsd/solaris. солярка 11.1 настолько хороша что даже имея суппорт план ничего не апдейчу.

- конкретно у адаптеков - очень хуёвые миграции, особенно с меньших винтов на большие. вплоть до пиздеца. лет через 5 будет сурприз.

- есть уже 4тб диски, а к началу 2014 обещают гелиевые на 6. по цене за терабайт у нас 4тб уже сравнялись с тройками, так что брать тройки смысла больше нет.

- схд на винтах (если он будет действительно рабочей схд а не чисто бекапопомойкой) всё равно нужно еще раз бекапить. так что либо прикупи с десяток RDX (или просто внешних винтов если денег нет) или, с таким основательным подходом - лучше смотри на ленточки. LTO7 тебе хватит, чтоб весь бекуп на 1 кассету влазил и робота не нужно было покупать. но по цене/объему рулит LTO6 нынче.

данные, хранящиеся в одной копии - проёбанные данные. даже если они хранятся на убер-фс с десятком винтов зеркалирующих друг друга.

причем один бекап должен быть в серваке, для ежедневного/ежечасного апдейта, а другой - зарыт, в сейфе или у бабушки в мухосранске на чердаке. носители ротировать относительно стоимости ротирования и проёба данных за конкретный период.

div:

Ты прав.
В данный момент у меня 1 копия основных данных на рэйде-5.
Две полные копии всего контента с 1999 года на отдельных винтах.
Самые ценные съёмки продублированы и на BDRDL (около 60 болваночек).
Просто когда куча всего я совсем забываю где я не проверяла данные и когда надо проверить.

А что скажешь про контроллер HighPoint 4520? Что если на нём закрутить 8 дисков по 4ТБ в рэйд6?

Margere писал:

div: Самые ценные съёмки продублированы и на BDRDL (около 60 болваночек).

нельзя хранить бекапы на оптике! заявленное время производителями - 20-30 лет, реально - никаких тестов для BD естественно быть не может. но тенденция ухудшения от CD к DVD была - повышение плотности и как следствие - законы физики для всех одинаковые. плюс всё это делают на малой арнаутской. имел кучу брендовых CD-R "старой гвардии", которые через 5-6 лет уже были совершенно не читабельные.

есть лента - она общепризнанно вечная. есть винты - RDX таки приняли альтернативным стандартом архивирования. остальное - пороховая бочка.

Цитата:

А что скажешь про контроллер HighPoint 4520? Что если на нём закрутить 8 дисков по 4ТБ в рэйд6?

ничего не скажу. две звезды конкретно у него на newegg. вообще highpoint в основном для маководов рейды делает, за неимением нормальных альтернатив с них кормится.

не бери для бекапов аппаратные контроллеры. сгорит, заглючит - хрен потом такой же купишь. а 5 лет прошло и производитель забил давно на обратную совместимость. особенно это касается "сложных" алгоритмов типа 5-6-7 и производных.

плюс есть интересный ньюанс на больших массивах - когда на HDD появляются сбойные участки, он может "задуматься" над их исправлением, а рейд-карта в это время решит что HDD сдох совсем. результат - рейд развалился. а пересобрать 12 дисков даже из двух групп - пара суток. винч должен уметь сообщать контроллеру об ошибках и получать от него информацию, когда можно "заняться собой". это умеют только старшие винты вроде WD RE, но для SOHO-бекапов они нахрен не нужны, это из пушки по воробьям.

плюс рассуди логически. в рейд-контроллеры ставят процы до 1ггц и памяти на L1Cache до гигабайта. какой такой выигрышь может на бекап-системе дать карта, если ее (системы) родного проца одна голова раза в 3-4 быстрее? и ничего давно в картах оптимизированного нет, вся начинка - многоцелевая. когда процы были по 500мгц, это имело смысл, сейчас - разводилово на бабки.

если у тебя "сурьезная" система типа VSphere, с договором об интеграции и бумажкой сертификации, которая тупо не становится на софтварный - дело одно. это их правила, они не хотят брать ответственность за хранилище, перекладывая ее на производителя карты. но у тебя же вообще самосбор. HBA типа LSI 9xxx-16i, фря/соляра и вперед! сильно сложно - слей какуюнить NexentaStor, там ZFS будет какойнить 28й версии. потом надоест играться с гуём или за "плагины" бабок будут просить немеряных - поставишь соляру, импортнешь и проапгрейдишь до 34й.

я доверяю всего двум рейдам/системам для схд - ZFS и WAFL. но на WAFL ты пожалуй зажмотишься денег да оно и не надо.

в качестве еще одного аргумента могу только добавить что ни Sun Storagetek, ни HP EVA, ни тем более Netapp никакие рейд-контроллеры в жизни не использовали и не будут. HBA only.

div: Я более 5 лет пользуюсь контроллерами HighPoint, работают исправно и без головной боли. Наверное поспешила я, купив адаптек. Но 2 недели не прошло, поеду сдам назад сегодня.

Итак вывод следующий.
В отдельноv системнике (4000Мгц, 4 ядра + НТ) я создаю 8*sata 3TB raid6 на HBA RocketRaid 4520 или raid6 на LSI-9260-8i.
Но я бы очень не хотела связываться с юникс FS - они менее защищены (ремапа блоков например). В юниксах поддержка truecrypt так себе, rar совсем фиговенько поддерживается. Встроенное шифрование самой FS если слетит, то можно забыть про данные.