Программы-вымогатели и другие угрозы всё чаще нацелены на NAS – Network Attached Storage – сетевые файловые накопители. Поэтому важно убедиться в том, что устройства настроены в соответствии с уже отработанными практиками безопасности.
Новости
Со стороны кажется, что новый дата-центр, построенный с нуля за полгода — это тривиальный проект. Но, во-первых, в дело вкрались всем известные события 2020-го. А во-вторых, Утконос ОНЛАЙН не нужен был просто дата-центр; им нужно было решение, на котором можно основать будущее компании. Эта статья о том, как мы создавали такое решение и почему в процессе создания вдруг почувствовали себя настоящими зодчими.
Читать далееЕдиная система мониторинга и оповещений BI: правда или вымысел?
Привет, Хабр! Мы, Юлия Лузганова HiJulia и Наталия Прудникова balzaant, аналитики в команде Business Intelligence Delivery Club. Наш департамент аналитики стремительно вырос за последние полтора года, сейчас в нем 50 человек и десятки различных проектов. Мы в группе BI-аналитики помогаем пользователям получать чистые и актуальные данные. Например, количество заказов, работающие рестораны и время доставки заказов — одни из главных сущностей. Наша основная задача — своевременная и бесперебойная поставка данных в аналитическое хранилище и их подготовка к дальнейшему использованию. Для этого нам необходимо оперативно выявлять проблемы с загрузкой и обработкой информации.
В этой статье мы хотели бы рассказать о создании мониторинга и системы “near real-time” оповещений. С технической точки зрения реализация простая, а вот нервных клеток разработчиков DWH, BI и пользователей после внедрения сохранено бесконечно много.
Почему мы вообще потратили время на создание системы оповещений для команды аналитики? Все просто: нам хотелось меньше заниматься поддержкой, а точнее, мы стремились минимизировать ручной мониторинг загрузки данных, состояния базы и отправки отчетов, чтобы автоматически оповещать пользователей базы данных об изменениях, неоптимальных запросах или активно растущих в объемах таблицах.
В статье вы найдете заметки, которые помогут вам реализовать подобную систему, а также идеи для автоматических оповещений. Также расскажем, как используя логи задач и немного статистики, мы выявляем аномалии в работе процессов.
Подчищаем за собой: учимся удалять данные с HDD и SSD
Блог компании Western DigitalИнформационная безопасность*Хранение данных*Хранилища данных*Накопители
Благодаря научно-техническому прогрессу контролировать данные с каждым годом становится все сложнее. И дело отнюдь не только в развитии сетевых технологий. Если раньше чтобы быть уверенным в собственной безопасности достаточно было сжечь несколько писем пикантного содержания, то сегодня удаляя компрометирующие вас документы с жесткого диска или SSD вы не можете быть на 100% уверены, что их не удастся восстановить. О том, почему так происходит и какие существуют способы гарантированного уничтожения информации, мы и поговорим в сегодняшнем материале.
Облачные и локальные вычисления: различий всё меньше
Перевод
Вопрос об облачных вычислениях и локальных решениях больше не стоит так остро, как раньше. Это может показаться смелым заявлением для специалистов, которые привыкли думать об облаке и о внутренней среде как о двух разных вселенных. Но я думаю, что пора изменить эту точку зрения.
Как подружить ClickHouse и Power Bi
Из песочницы
Однажды на работе мне потребовалось построить дашборд в Power BI, но данные хранились в ClickHouse. В Power BI есть много различных конекторов, но специального для ClickHouse нет. В этой статье мы разберемся с данной проблемой!
Защита от кибер-атак
Блог компании SynologyНастройка Linux*Информационная безопасность*Хранилища данных*Сетевое оборудование
Компания Synology предупреждает своих клиентов о новой кибер-атаке. Ботнет StealthWorker нацелен на сетевые устройства хранения данных и выполняет атаки “brute force”, которые могут привести к заражению вымогательским ПО.
По данным Synology PSIRT (Product Security Incident Response Team), взломанные устройства Synology NASвпоследствии используются в попытках взлома других Linux-систем.
Synology предупреждает об этих атаках в пресс-релизе:
Тайбэй, Тайвань — 4 августа 2021 — Группа реагирования на инциденты безопасности продуктов Synology(PSIRT) недавно получила данные о возрастании числа атак методом подбора на устройства Synology. Эксперты по безопасности Synology считают, что ботнет управляется главным образом семейством вредоносных программ StealthWorker. На данный момент Synology PSIRT не нашла свидетельств того, что вредоносные программы используют какие-либо уязвимости в программном обеспечении.
Эти атаки воздействуют на уже зараженные устройства, заставляя их компрометировать общие учетные записи администратора в чистых системах. В случае успеха они получают доступ к системам, чтобы установить вредоносное наполнение, которое может включать программы-вымогатели. Зараженные устройства могут выполнять дополнительные атаки на другие устройства на основе Linux, включая SynologyNAS.
Synology PSIRT сотрудничает с соответствующим организациями CERT (Компьютерные группы по реагированию на чрезвычайные ситуации), чтобы больше узнать об известных C&C-серверах, контролирующих вредоносные программы, и отключить их. Одновременно с этим Synology уведомляет клиентов, которые могли быть затронуты атаками.
Нужно ли готовить ЦОДы для размещения квантовых компьютеров?
Перевод
Автор: Кристина Холл (Christine Hall)
Прежде чем ответить на вопрос, вынесенный в заголовок статьи о переносе квантовых вычислений в центры обработки данных, нужно понимать: в настоящее время трудно предсказать, какую физическую форму квантовые компьютеры примут в будущем. Но не исключено, что квантовые вычисления могут стать довольно обычным явлением лет через пять-десять.
Но уже сейчас вы уже можете попробовать моделировать с помощью квантовых компьютеров и испытать некоторые из первых реальных квантовых машин с помощью облачных провайдеров, таких как AWS, Microsoft Azure, Google Cloud Platform и IBM Cloud. У них уже есть пилотные проекты квантовых компьютеров, которые находятся на разных стадиях разработки.
Означает ли это, что операторы центров обработки данных должны начать планирование машинных залов и телекоммуникационных стоек с учетом размещения квантовых компьютеров?
Как Apache Flink хранит стейт: взгляд изнутри
Привет! В этой статье мы рассмотрим важнейший аспект практически любого потокового приложения – работу со стейтом. Сегодня в роли подопытного выступит фреймворк Apache Flink.
Мы узнаем, как и где можно хранить стейт, какие структуры данных для этого используются, оценим скорость работы каждого подхода и узнаем, что из предложенных вариантов быстрее, а что – надежнее, и можно ли найти компромисс среди множества разноплановых комбинаций.
Небольшой дисклеймер
Подавляющая часть информации, представленной в этой статье, справедлива для всех релизов Apache Flink, начиная с версии 1.8. В версии 1.13 (последняя на момент выхода этой статьи) произошли небольшие правки API, которые в некоторой мере изменили видимую пользователю «оболочку» хранения стейта, но общие принципы остались прежними. Подробнее об этом можно прочитать здесь.
Если вы только начинаете знакомство с Apache Flink, то рекомендую посмотреть наш YouTube-митап по основам этого замечательного фреймворка.
Как мы создаём почтовую систему нового поколения Mailion. Архитектура кластера DOS
МойОфис продолжает серию статей о корпоративной почтовой системе Mailion (1, 2), разрабатываемой при грантовой поддержке РФРИТ, и входящем в его состав объектном хранилище DOS. Мы уже рассказали об основных оптимизациях DOS, которые позволяют увеличить экономическую эффективность хранения данных, а также коснулись общих принципов построения масштабируемых хранилищ. Сегодня мы поговорим о том, как эти принципы применялись на практике в ходе работ над кластером DOS.
Встречаем новые серверы Gen10v2
Сегодня речь пойдёт о новых салазках для жёстких дисков SFF формата Gen10 v2.
На первый взгляд.
На первый взгляд они идентичны, но...
Apache Ozone и узлы хранения данных высокой плотности
Перевод
Сегодня специалисты по анализу корпоративных данных стремятся максимально эффективно использовать свои платформы. Хранилище данных играет одну из самых важных ролей, это основа для всех вычислительных механизмов и приложений. Еще один тренд - переход к горизонтально масштабируемой модели хранения, которая позволяет получить хранилища данных высокой плотности, обладающие также высокой надежностью, масштабируемостью и производительностью. Компании Cloudera и Cisco протестировали, насколько это реально, используя узлы хранения с высокой плотностью.
Правила жизни дата-центра в дождь, шторм и аномальную жару
Ливни, грозы, шквалистый ветер и рекордная жара — этим летом много поводов обсудить погоду. В дата-центрах это не только тема для смол-тока. Природные аномалии и катаклизмы могут сильно повлиять на работу оборудования, если не подумать обо всех рисках заранее. Мы с @rbekrenev обобщили наш опыт и рассказываем, как инженеры дата-центров готовятся ко встрече со стихией.
Реализация CI/CD для корпоративных хранилищ данных
Блог компании AccentureХранение данных*Управление разработкой*Хранилища данных*Управление проектами*
В Сети много рецептов приготовления CI/CD для решения различных проблем и организации процессов под определённые нужды. В этой статье мы опишем ещё один, суть которого - приготовить процесс, максимально близкий к классическому подходу, несмотря на то что предназначен он для разработки КХД, и решить проблему организации работы большой команды.
Выбор хостинг-провайдера и виртуального сервера, или Как самому найти то, что нужно
„Вы говорите, что выбирать надо из двух зол?! Тоже мне ассортимент!“
Веслав Брудзиньский
Выбор провайдера хостинга и виртуального сервера конечно же не ограничивается двумя вариантами – на рынке десятки дата-центров, выбор нетривиален и вот почему. В тарифах провайдеров услуг изначально нет полной информации о типах процессоров, памяти, дисках, их производительности, о канале связи и т.д. Более того, даже открытые данные не приведены, как говорится к одному знаменателю с тем, чтобы их можно было сравнить. Поэтому перед нами всегда стоит вопрос: как понять что из себя представляют те или иные услуги и как сделать правильный выбор? К примеру, стоимость виртуального сервера у одного провайдера в 4 раза выше, чем у другого – это говорит о жадности хостера или высоком качестве услуг?
Дабы разобраться в теме сделаем тест-драйв провайдеров и проведем сравнение сопоставимых услуг. Столкнем лбами 13 компаний. Мы взяли представителей разных ниш, отличающихся, как широтой услуг, так и ценами, с тем, чтобы выборка была репрезентативной и показала срез рынка. Итак, разместим хостеров в алфавитном порядке:
Обзор технологий хранения больших данных. Плюсы, минусы, кому что подойдет
Если вы собираетесь построить или перестроить свое хранилище данных, то столкнетесь с внушительным списком технологий на рынке. Пробовать каждую из них в поисках подходящей именно вам — долго и затратно.
На нашей конференции SmartData ведущий разработчик в Яндексе Максим Стаценко рассказал про плюсы и минусы различных решений для хранения данных: облака или железо, Hadoop, Vertica, ClickHouse, Exasol, Greenplum, Teradata и не только.
Работая в крупных компаниях, Максим попробовал много решений, сравнил их на одинаковых данных и задал вопросы их разработчикам и поставщикам.
Видео и расшифровка доклада — под катом. Далее повествование будет от лица Максима.
Selectel File Storage Beta: места много не бывает
Блог компании SelectelСистемное администрирование*IT-инфраструктура*Хранение данных*Хранилища данных*
Организация хранения данных при построении IT-инфраструктуры у IaaS-провайдера всегда связана с обеспечением приемлемого уровня отказоустойчивости и доступности. Традиционный вариант использования выделенных серверов предполагает, что надежность хранения данных можно обеспечить при помощи RAID-массивов, аппаратных или программных.
Тем не менее, вариант с зеркалированием всегда означает, что вы не сможете использовать все дисковое пространство на сервере. Если это обычный RAID1, то вы в любом случае получаете в 2 раза меньше доступного места на диске — это неизбежная плата за обеспечение надежности хранения данных. Как только данных становится больше, приходится сталкиваться с проблемой масштабирования и зачастую переноса данных.
Чтобы значительно упростить процесс организации хранения данных, мы в Selectel создали новую услугу «Файловое хранилище», позволяющую получить дисковое пространство любого объема и использовать его в различных сценариях работы с прочими услугами. Под катом рассказываем о преимуществах такого хранения и показываем, как его настроить в Ubuntu, Proxmox, VMware ESXi и FreeNAS.
«М.Каталог» — наш способ организации мастер-данных для всех категорий товаров
Когда данных накапливается очень много, и их начинают запрашивать самые разные системы, управление информацией становится критически важной задачей. В этом посте мы расскажем, как в нашей компании появилась такая задача и почему мы решили создавать хранилище мастер-данных, которое назвали «М.Каталог». Мы расскажем о его архитектуре, уже достигнутых результатах и планах развития. А всех, кто имеет свой опыт построения системы работы с мастер-данными, приглашаем присоединиться к обсуждению вопроса в комментариях.
История жестких дисков, часть I
Recovery mode
Жесткие диски знакомы всем пользователям, без них сложно представить современный компьютер. Конечно, SSD вытеснили жесткие диски в сценариях, где требуется максимальная производительность, например, для загрузочного раздела ОС. Но если нужна максимальная емкость, то без HDD не обойтись.
Сегодня жесткие диски достигли емкости 18 Тбайт, а скоро выйдут и более емкие модели, в том числе и благодаря технологии термомагнитной записи (HAMR). 3,5" форм-фактор жестких дисков сегодня утвердился, однако они не всегда были такими. В нашей статье мы проведем небольшой экскурс в историю жестких дисков, и начнем мы с 50-х годов прошлого века.
