Всем привет.
В статье я опишу, как мы настраивали реестр схем данных для того, чтобы использовать его для сериализации и десериализации сообщений Kafka.
Спойлер: на данный момент реестр схем данных настроен и используется в боевой системе, каких-то проблем, связанных с SR, замечено не было.
Ранее я рассказывал о результатах проверки работы некоторых функций младшей модели OceanStor Dorado V6 от компании Huawei. Была протестирована работа мгновенного виртуального снимка HyperSnap, функций создания мгновенных снимков с высокой частотой HyperCDP и полных копий исходных данных с использованием расписания HyperClone, а также настройки приоритезации потоков ввода-вывода SmartQOS.
Более подробно об организации стенда, подключении оборудования и проведенных ранее испытаниях можно прочитать в предыдущей части.
Ну а теперь, как и обещал, перейдем к тестированию производительности и отказоустойчивости.
Apache Ozone: следующее поколение хранилища для платформы больших данных
Распределенная файловая система Apache Hadoop (HDFS) де-факто является файловой системой для больших данных. Верная своим корням big data, HDFS работает лучше всего, когда большинство файлов имеют большой размер - от десятков до сотен мегабайт.
Ozone - это распределенное хранилище, которое может управлять как малыми, так и большими файлами. Ozone разрабатывается и внедряется командой инженеров и архитекторов, имеющих значительный опыт управления большими кластерами Apache Hadoop. Это дало нам представление о том, что HDFS делает хорошо, и о некоторых вещах, которые можно делать по-другому.
Сегодня речь пойдёт о защите информации: рассказываем, зачем превращать персональные данные в неперсональные и как это делается.
У разработчиков есть целый набор технологий для разных сценариев работы с персданными. Чтобы безопасно передать информацию, её шифруют. Чтобы оператор колл-центра не увидел состояние счёта клиента, цифры автоматически скрывают маской. А мы хотим рассказать про технологию токенизации, которую недавно внедрили в одном из наших проектов.
Технологии автономных автомобилей способны совершить настоящий переворот в транспортной отрасли и оказать существенное долгосрочное влияние на образ нашей жизни, работы и бизнеса: они могут снизить количество жертв дорожно-транспортных происшествий, разгрузить дорожную сеть и высвободить время. Кроме того, в этом случае появятся новые транспортные парадигмы, включая автономные такси и модели «перевозка как услуга» с автомобилями совместного владения.
Привет, Хабр! Меня зовут Виктор, я главный инженер-энергетик в мегаЦОДе "Удомля". Мои коллеги уже показывали, как мы организуем гарантированное электропитание дата-центра с помощью ДГУ и регулярно проверяем их работоспособность. Но кроме ДГУ есть другое оборудование, которое может одновременно обеспечить гарантированное электроснабжение и бесперебойное питание. Речь о дизельных динамических ИБП (ДИБП). Такие установки стоят в нашем мегаЦОДе, и мы уже немного рассказывали про их устройство в экскурсии по дата-центру.
Сегодня покажу, как мы проводим тестирование дизельных двигателей ДИБП, чтобы быть уверенными в их надежности.
Многие компании активно переносят свои данные в облако, обеспечивая тем самым гибкость и масштабируемость своих приложений. Но те, кто впервые пробуют облачные технологии, нередко сталкиваются с проблемой выбора правильного облачного хранилища под конкретную задачу. Какой тип диска подключить? Когда использовать объектное хранилище, а когда файловое? Какие преимущества и недостатки у каждого из них в облаке? Как можно использовать их совместно, чтобы улучшить утилизацию ресурсов?
Я, Хамзет Шогенов, архитектор облачной платформы Mail.ru Cloud Solutions, расскажу о системах хранения данных, доступных на нашей платформе, подробно остановлюсь на их технических характеристиках и оптимальных вариантах использования.
22 марта и 23 марта, 11.00-14.20 (GMT+3)
Изучите основные концепции баз данных в облачной среде. Присоединяйтесь к нам на мероприятии «Microsoft Azure Virtual Training Day: основы данных», чтобы получить базовые знания об облачных сервисах обработки данных. Изучите предложения для работы с реляционными и нереляционными данными, а также решения для аналитики больших данных и современных хранилищ данных в Azure.
Хорошо бы бизнесу дали работать без лицензий, но пока не дают эта статья может быть полезна.
В интернете очень много споров о том, когда и какая именно нужна лицензия связи. Проблема в том, что и в официальных документах эти вопросы описаны очень размыто. Более того, в ряде моментов законодательная база и документы РосКомНадзора не успевают за развитием отрасли. Видно, что ряд положений разрабатывались ещё в 90-е годы и не подходят чётко под современные услуги связи такие как хостинг или SaaS, где хранятся данные пользователей и передаются сообщения, и даже есть голосовая связь (у Slack, Telegram по-моему нет Лицензии на услуги связи по передаче данных для целей передачи голосовой информации).
Хостинг бывает разных типов, которые существенно отличаются друг от друга. Бывает shared-хостинг, виртуальный и размещение или аренда физического оборудования. Внешне для пользователей это всё хостинг, который служит обеспечению работы сайта. Различается техническая реализация. И споры часто сводятся к тому, что если просто хостинг, то лицензия не нужна, а если уже размещение и аренда серверов, то тут нужна. Разберём эти вопросы подробно основываясь на законодательной базе.
В новостях про запуск дата-центров вы обязательно встретите упоминание мощности в «киловаттах на стойку». За последний год наша объединенная команда DataLine и «Ростелеком-ЦОД» запустила 4 дата-центра, и мы каждый раз сталкивались с комментариями в соцсетях и вопросами в чатах: «Почему средняя мощность 5 кВт на стойку? Как так, 21-й век, 21-й год, а цифра не меняется? Это слишком мало».
Сегодня по порядку ответим: как мы считаем мощность на стойку, почему эта цифра не ограничивает заказчика, а наоборот, экономит его ресурсы. Объясню с точки зрения статистики и возьму пару наглядных аналогий из популярной книги «Статистика и котики» (очень классного пособия для обновления забытых знаний).
В День защиты персональных данных 28 января «РосКомСвобода» совместно с Digital Rights Center и Privacy Accelerator провела ежегодную международную конференцию Privacy Day 2021. На ней подвели итоги 2020 года и очертили тренды 2021-го.
Обсуждённые экспертами темы, такие как слежка на фоне пандемии COVID-19, непонимание государством, как правильно защищать персональные данные граждан и утечки информации из компаний, всё ещё остаются актуальными.
Также были представлены важные и интересные проекты Privacy Accelerator: Personalka, SelfPrivacy и Amnezia. С них и начнём.
VTL (они же Virtual Tape Library, если по паспорту) можно назвать одним из самых странных порождений IT индустрии. Родившись в эпоху расцвета ленточных накопителей как классический софтовый эмулятор настоящего железа, многими они были восприняты как ответ на главный вопрос жизни (Вселенной и всего такого), и теперь одни умудряются продавать их за деньги, а другие использовать в проде и считать, что всё нормально.
Я не буду кричать что первые плохие, а вторых надо гнать из профессии. Нет. Я только лишь предлагаю трезво взглянуть на суть VTL.
Недавно в нашем блоге были опубликованы статьи, посвященные технологиям двойного привода MACH.2 и термомагнитной записи HAMR. Сейчас диски HAMR доступны только ограниченному числу покупателей, и получить их можно в рамках программ Seagate Enterprise Data Systems и Lyve. Мы решили спуститься с небес на землю и поговорить о том, что можно пощупать руками уже сегодня. Героем нашего обзора будет флагманский HDD корпоративного класса Exos X18 на 18 Тбайт, который есть в розничной продаже по вполне разумной цене от 35 тыс. рублей.
В сентябре 2020 года Seagate представила 18-Тбайт HDD IronWolf Pro для SMB/SME NAS, за ним последовала флагманская корпоративная версия Exos X18. Вместе с накопителями была обновлена и конвергентная серверная платформа — представлена модель 2U на 12 3,5" отсеков Exos AP 2U12. Сервер поддерживает два порта 10GBASE-T и два 1 Гбит/с LAN. В качестве процессора используются модели из линейки Xeon v5 v4 с TDP до 85 Вт.
Сегодня отправимся в Калининский район Санкт-Петербурга и со всех сторон посмотрим на дата-центр "Ростелеком-ЦОД", который запустился в декабре 2020 года. Новый ЦОД построили "с нуля" недалеко от корпусов завода ЛОМО по адресу: ул. Жукова, 43 (не путать с проспектом Маршала Жукова!).
Пять лет назад здесь было заброшенное строительство мазутохранилища (а мы любим строить на территориях старых заводов). Сейчас на петербургской площадке заказчики уже арендовали первые стойки и заработали облачные сервисы DataLine.
