Пару месяцев назад компания «Рэйдикс» получила возможность поработать со свежими накопителями Seagate EXOS, разработанными для задач корпоративного класса. Их отличительная особенность заключается в гибридном устройстве накопителя — в нем совмещены технологии обычных жестких дисков (для основного хранилища) и твердотельных накопителей (для кэширования горячих данных).

У нас уже был положительный опыт применения гибридных дисков от Seagate в составе наших систем — пару лет назад мы внедряли решение для частного ЦОДа совместно с партнером из Южной Кореи. Тогда на тестах использовался бенчмарк Oracle Orion, и полученные результаты не уступали All-Flash массивам.

datacenterknowledge.com

В прошлом году была реализована самая крупная на данный момент инсталляция СХД на базе RAIDIX. Система из 11 отказоустойчивых кластеров была развернута в Центре вычислительных наук института RIKEN (Япония). Основное назначение системы — хранилище для инфраструктуры HPC (HPCI), которая реализована в рамках масштабного национального проекта по обмену академической информацией Academic Cloud (на базе сети SINET).

Знаковой характеристикой этого проекта является его суммарный объем — 65 ПБ, из которых полезный объем системы составляет 51,4 ПБ. Чтобы точнее понять эту величину, добавим, что это 6512 дисков по 10 ТБ (самых современных на момент установки). Это много.

Каждую осень команда «Рэйдикс» собирает неравнодушных к технологиям хранения данных на ежегодной конференции ПРОSTOR. В предыдущей статье мы рассказывали, как это было раньше, и вот пришла пора подвести итоги 4-ой конференции, которая состоялась 1-го ноября на «Красном Октябре».

Если вы следите за технологиями хранения данных, то скорее всего, слышали про конференцию “Простор”, которую “Рэйдикс” организует с 2015-го года. В этом году она пройдет 1-го ноября в Москве, и пока мы работаем над финальной программой, расскажем вам о том, как появилась конференция, что рассказывали мы и наши партнеры в прошлые годы и для кого она будет интересной в 2018-ом.

Несколько месяцев назад в ходе работы над очередным проектом, ребята из нашей исследовательской лаборатории проводили исследование NVMe-дисков и софтверных решений, с целью найти оптимальный вариант для сборки программного массива.

Результаты тестов тогда были удивительно обескураживающими — огромный потенциал скорости NVMe-дисков совершенно не соотносился с демонстрируемой производительностью имеющихся программных продуктов.

Этой весной команда «Рэйдикс» подготовила и выпустила первую версию ПО для создания распределенной блочной СХД, работающей на серверных платформах «Эльбрус-4.4» на базе микропроцессоров «Эльбрус-4С».

Полезность такого симбиоза видна невооруженным взглядом — сборка СХД на базе отечественного железа и отечественной операционной системы становится вполне привлекательным продуктом внутреннего рынка, в частности для заказчиков, имеющих фокус на импортозамещение.

Чем хороши большие JBOD’ы?

Новый JBOD Western Digital на 102 диска по 12ТБ получился мощным. При разработке этого JBOD были учтены предыдущий опыт с двумя поколениями 60-дисковых полок.
Data102 получился на редкость для таких гигантов сбалансированным по объему и производительности.

Зачем же нужны такие большие дисковые корзины, когда в мире растет популярность гиперконвергентных систем?

Данная статья была представлена на конференции SECR2017, где получила премию Бертрана Мейера за лучший исследовательский доклад.

В этом материале руководитель исследовательской лаборатории «Рэйдикс» Светлана Лазарева рассказывает о новом алгоритме заполнения параллельного кэша в СХД, который основан на алгоритме машинного обучения.

В этой статье мы подробнее расскажем о поддержке энергонезависимой памяти (NVDIMM) в ПО RAIDIX 4.6. Новую версию ПО взяли на вооружение наши ключевые партнеры. Так, управляющее ПО RAIDIX 4.6 уже используется в новой СХД Trinity FlexApp от «Тринити».

Персистентная память и стандарт NVDIMM

Новый RAIDIX работает с персистентной памятью (PMEM), которая объединяет в себе преимущества традиционных устройств хранения данных и большую пропускную способность памяти DRAM. Данный тип памяти допускает побайтовую адресацию (load/store), и – в отличии от традиционных «блочников» – функционирует со скоростью DRAM и соответствующими низкими задержками. В случае потери питания на сервере все содержимое памяти остается нетронутым и может быть восстановлено после загрузки. В настоящее время этот тип памяти доступен в форме модулей NVDIMM (Non-Volatile Dual Inline Memory Module).

Специалисты студий постпродакшн оперируют файлами терабайтных размеров и осуществляют видеомонтаж, цветокоррекцию и окончательную обработку материала с помощью ресурсоемких профессиональных приложений. Ключевой задачей для студий является поддержание высокой пропускной способности, достаточной для бесперебойной работы над видеоматериалом без потерь кадров и задержек, как правило, с нескольких рабочих станций.

При этом, учитывая растущие объемы видеоданных и ограниченную емкость хранения, студии постпродакшн и телеканалы нуждаются в высокомасштабируемых решениях. Зачастую, когда речь идет о петабайтах информации и кластерной организации хранения, возникает необходимость горизонтального масштабирования СХД.

В этой статье мы продолжаем рассказывать о том, как можно хранить метаданные в СХД при помощи баз данных key-value.

На этот раз в центре нашего внимания выделенные БД: Aerospike и RocksDB. Описание значимости метаданных в СХД, а также результаты тестирования встроенных БД можно посмотреть тут.

7-8 ноября 2017 на конференции Highload++ исследователи лаборатории «Рэйдикс» представили доклад «Метаданные для кластера: гонка key-value-героев».

В этой статье мы представили основной материал доклада, касающийся тестирования баз данных key-value. «Зачем их тестировать производителю СХД?», — спрóсите вы. Задача возникла в связи с проблемой хранения метаданных. Такие «фичи», как дедупликация, тиринг, тонкое выделение ресурсов (thin provisioning), лог-структурированная запись, идут вразрез с механизмом прямой адресации – возникает необходимость хранить большое количество служебной информации.

Решения для хранения данных HPC должны обеспечивать защиту данных, доступность информации, масштабируемость и гарантированно высокую производительность системы.

ПО для СХД RAIDIX в связке с Intel Enterprise Edition for Lustre* обеспечивает необходимую функциональность и позволяет создать эффективный кластер хранения на базе стандартного оборудования.

В нашей статье приведены технические описания решений RAIDIX и Intel Enterprise Edition for Lustre*, рекомендуемая аппаратная архитектура и схема развертывания СХД для высокопроизводительных вычислений.

26 октября «Рэйдикс» совместно с ИТ-кластером Фонда «Сколково» провела ежегодный технологический форум по хранению данных — ПРОSTOR 2017. Место встречи – Технопарк «Сколково» с его «хайтековой», удобной, развитой инфраструктурой!

Предлагаем ознакомиться с небольшим фотоотчетом по прошедшему мероприятию.

Эффективное хранение файлов большого размера в различных отраслях становится непростой задачей. Так, в медиаиндустрии используются колоссальные объемы контента. Учитывая, что цифровое видео формата 4K требует в 4 раза больше свободной емкости, чем файлы стандартного высокого разрешения, художественный фильм средней продолжительности может занимать от 2 (в формате Full HD) до 15 (в 8К) терабайт данных.

Специалисты студии оперируют файлами терабайтных размеров и осуществляют видеомонтаж, цветокоррекцию и окончательную обработку материала с помощью ресурсоемких профессиональных приложений.

26 октября 2017 года «Рэйдикс» и партнеры проведут очередной форум ПРОSTOR —технологическую конференцию по вопросам хранения и обработки данных. Первая конференция состоялась в Москве в 2015, в этому году ПРОSTOR пройдет в технопарке «Сколково». Ожидается насыщенная техническая программа и самый широкий диапазон участников – министр связи Н.А. Никифоров, эксперты из Broadcom, HGST (Western Digital), Mellanox, Panasonic, SanDisk (Western Digital), инновационные стартапы и многие другие.

В последнее время новостные ленты заполонили статьи о машинном обучении (ML; Machine Learning) и глубинном обучении (Deep Learning).

Действительно, за несколько лет исследователи существенно продвинулись в этом направлении – и, что важнее, общество стало готово к новым технологиям.

К сожалению, спекулируя на популярной теме машинного обучения, многие сосредоточились на совершенно ненужных человечеству областях его применения: генерации текстов и сценариев для безумных фильмов, написании картин в стиле известных художников и т.д. Часть подобных статей и вовсе скатывается до панических настроений вроде «скоро мы все останемся без работы».