Как стать автором
Обновить
79.01

Хранение данных *

Что имеем, то храним

Сначала показывать
Порог рейтинга
Уровень сложности

Как мой менеджер потратил миллион долларов на сервер бэкапов, который я ни разу не использовал

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 20K
Блог компании RUVDS.com Системное администрирование *Хранение данных *Управление проектами *
Кейс
Перевод

Индустрия видеоигр — странное место: она одновременно может отставать от остальной технологической отрасли на полдесятка лет в одних областях, и на годы опережать её в других.

В эту отрасль меня привлекла не возможность работы над развлекательными продуктами или создания продуктов, которые мне понравится использовать (не могу назвать себя геймером): я люблю решать задачи, и особенно задачи, которые нелегко решать.

Когда я пришёл в Ubisoft в 2014 году, меня назначили в отдел программирования онлайна на должность руководителя Ops. Это было ужасно, потому что все работали под Windows.

Kubernetes ещё не было на горизонте, да если бы он и был, сам Docker оставался крайне сырым и пока не мог выполнять нативные двоичные файлы Windows.

Вместо него мы использовали собственную реализацию распределённых систем.
Читать дальше →
Всего голосов 49: ↑49 и ↓0 +49
Комментарии 19

Новости

Postgres: графовая база данных, о которой вы не подозревали

Время на прочтение 4 мин
Количество просмотров 8K
PostgreSQL *Администрирование баз данных *Хранение данных *
Перевод

PostgreSQL (Postgres) — это мощная реляционная база данных, способная хранить широкий спектр типов и структур данных. Когда нам нужно хранить графовые структуры данных, мы часто обращаемся к базам данных, позиционируемым как подходящее для этого решение, например, к Neo4J или Dgraph. Но не торопитесь! Хотя при работе с графовыми структурами данных о Postgres обычно не вспоминают, она идеально справляется с эффективным хранением графовых данных и запросами к ним.
Читать дальше →
Всего голосов 28: ↑20 и ↓8 +12
Комментарии 19

День бэкапа: полезные советы и статьи из блога RUVDS

Уровень сложности Простой
Время на прочтение 2 мин
Количество просмотров 2.1K
Блог компании RUVDS.com Информационная безопасность *Резервное копирование *Хранение данных *Хранилища данных *


31 марта по инициативе пользователей Reddit во всём мире отмечают День резервного копирования. Лучший способ отметить этот праздник — создать резервные копии данных, проверить и протестировать свои бэкапы.
Читать дальше →
Всего голосов 37: ↑35 и ↓2 +33
Комментарии 22

8 шагов по внедрению проекта по управлению нормативно-справочной информацией (НСИ) и расчет окупаемости ROI

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 443
Клиентская оптимизация *Хранение данных *
Роадмэп

Компании годами пользуются устаревшими, полными ошибок и задвоений справочниками клиентов, контрагентов или товаров, но не рассчитывают, насколько дорого это обходится. Справочники и классификаторы, содержащие основные данные бизнеса, называются НСИ (нормативно-справочная информация). По ссылке выше я рассказывал, что это и зачем приводить НСИ в порядок.

Несмотря на убытки, вызванные некачественными данными, бизнес часто откладывает проект по внедрению системы управления НСИ как дорогостоящий. Я приведу расчет ROI (return of investment – коэффициент рентабельности инвестиций) для телеком-компании, которая уже на 2 год может выйти на окупаемость 192% с опорой на пошаговый план внедрения, который позволит не затянуть проект.

Читать далее
Рейтинг 0
Комментарии 1

Истории

Tibx или не tib(x): вот в чем вопрос…

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 704
Блог компании Киберпротект Восстановление данных *Резервное копирование *Хранение данных *Хранилища данных *
Обзор

Сегодня я хочу поговорить о том, каких преимуществ в вопросах резервного копирования и аварийного восстановления можно добиться за счет смены архитектуры архива и правил хранения информации. Разумеется делать я это буду на примере нового формата архивов, который используют продукты КИБЕРПРОТЕКТ. Из интересного сразу выделю, что мы добились увеличения плотности до 5 раз! (это реальный показатель), а также повысили скорость, удобство и надежность. Не обошлось конечно и без проблем обратной совместимости и некоторых нюансов. Под катом — отличия нового формата, примеры оптимизаций, которые мы сделали, подробнее о плюсах инкрементного бэкапа, а также рекомендации по работе с резервными копиями в современных условиях. Всех заинтересованных приглашаю обсудить архитектурные подходы к работе с резервными копиями.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 4

Совместная работа с документами в компании, если нельзя использовать Google Drive и другие популярные сервисы

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 2.1K
Блог компании NAUMEN Хранение данных *Облачные сервисы *
Обзор

Сложно представить свои повседневные будни без использования облачных сервисов Google Drive, DropBox, iCloud и других. Тем не менее, в нынешних обстоятельствах мы вынуждены менять привычные решения. На первый план вышли такие характеристики продуктов, как страна происхождения компании-разработчика, геолокализация данных и другие.

Как быть, если корпоративные сервисы, разрешенные для использования в организации, не справляются?

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 4

Самый надёжный из древних носителей

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 8.5K
Блог компании Timeweb Cloud Хранение данных *Компьютерное железо Старое железо
Обзор
Приветствую всех!

Думаю, всем нам известно, что вплоть до середины нулевых основным средством для переноса данных между компьютерами служили дискеты. Но, разумеется, нетрудно догадаться, что помимо них были и другие, менее распространённые носители. Какие-то из них были чрезвычайно надёжными, какие-то, напротив, иногда становились худшим, что могло случиться с устройством для хранения данных.



Итак, в сегодняшней статье поговорим об одном из самых крутых носителей данных тех лет — о магнитооптических дисках. Разберёмся, как устроены и как работают такие девайсы, каковы они в использовании. Традиционно будет много интересного.
Читать дальше →
Всего голосов 40: ↑40 и ↓0 +40
Комментарии 28

SharedPreferences отличное хранилище для вашего flutter-приложения. Но есть нюансы…

Уровень сложности Простой
Время на прочтение 11 мин
Количество просмотров 1.1K
Программирование *Dart *Хранение данных *Хранилища данных *Flutter *
Кейс

Вы задаёте себе вопрос, какое хранилище данных выбрать для flutter-приложения? Отлично, тогда продемонстрирую, каким образом можно воспользоваться key-value решением, используя два метода set() и get() для всех типов данных*, и не разбрасываться ключами по всему коду.

Данный способ уже используется в приложении Weather Today.

Что там под звёздочкой
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 5

Согласованность данных: что это на самом деле такое и почему с ней все так сложно

Время на прочтение 10 мин
Количество просмотров 3.5K
Блог компании VK NoSQL *Администрирование баз данных *Хранение данных *
Перевод


Понятие согласованности данных сложное, неоднозначное и включает в себя широкий спектр определений, лишь частично совпадающих друг с другом. Команда VK Cloud перевела статью, в которой автор определяет термин «согласованность» в области распределенных БД и рассуждает на тему этой самой согласованности.
Читать дальше →
Всего голосов 36: ↑34 и ↓2 +32
Комментарии 2

PowerShell и LiveJournal (ЖЖ): скачивание постов журнала

Уровень сложности Средний
Время на прочтение 15 мин
Количество просмотров 1.1K
CMS *PowerShell *API *Хранение данных *Data Engineering *
Туториал

У блог-платформы «LiveJournal» есть набор удалённых функций и протокол их вызова для сторонних веб-клиентов. В этой статье я описываю, какие из этих функций удобно использовать для загрузки к себе на компьютер всех постов своего журнала (блога). Также я даю пояснения к алгоритму загрузки всех постов, показанному в виде псевдокода в документации к клиент-серверному протоколу «LiveJournal», и привожу его перевод на русский язык с некоторыми изменениями.

В конце статьи я описываю свою практическую реализацию алгоритма загрузки постов на языке PowerShell. В статье есть иллюстрация работы полученного скрипта и ссылка на его исходный код на веб-сервисе «GitHub».

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 10

Как загадочный разработчик снизил затраты на AWS на 90%, а потом исчез

Время на прочтение 3 мин
Количество просмотров 44K
Блог компании QIWI Amazon Web Services *Хранение данных *Облачные сервисы *
Перевод

Недавно я завершил аудит своего SaaS-клиента. Его история достойна рассказа. Это история о жадности, лжи и красоте хакинга.

Это история о том, как благодаря мой клиент снизил свои ежемесячные траты на AWS на 90 тысяч долларов благодаря таинственному разработчику, который исчез, как только работа была сделана.

Когда спустя полгода затраты на AWS снова взлетели примерно до 120 тысяч в месяц, этот клиент попросил меня разобраться, что же произошло на самом деле.

И разгадка оказалась совершенно сумасшедшей!
Читать дальше →
Всего голосов 139: ↑132 и ↓7 +125
Комментарии 122

Новая точка на карте ЦОДов Москвы

Время на прочтение 4 мин
Количество просмотров 2K
Блог компании DataLine IT-инфраструктура *Хранение данных *Хранилища данных *Инженерные системы *
Репортаж

Мы открыли новый дата-центр «Ростелеком-ЦОД» в Медведково. Строительство началось в июле 2022 года на базе складского комплекса класса А+, первый этап был реализован за 9 месяцев.

Сегодня в эксплуатацию принято 4 машинных зала из шестнадцати. Каждый из них может вместить до 312 стандартных серверных шкафов, т. е. всего 1248 стойко-мест. Общая электрическая мощность четырех машинных залов и поддерживающей инженерной инфраструктуры составляет 9 МВт.

Погулять по ЦОДу
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 6

Как мы создаём корпоративную почтовую систему нового поколения Mailion. Оптимизация стоимости хранения данных

Уровень сложности Средний
Время на прочтение 22 мин
Количество просмотров 1.7K
Блог компании МойОфис Серверная оптимизация *Хранение данных *Сжатие данных *Хранилища данных *

Каждый из нас сталкивался с необходимостью настройки сложного ПО, интенсивно потребляющего ресурсы компьютера. Как правило, у такого софта довольно объёмная конфигурация, и из-за этого бывает трудно подобрать комбинацию параметров, при которой этот софт демонстрировал бы высокую производительность при минимальной утилизации железа.

Одна из наиболее ресурсоемких категорий софта сегодня — это системы хранения данных. К ним можно отнести как классические СУБД, так и хранилища различного назначения. В корпоративной почтовой системе Mailion мы используем объектное хранилище собственной разработки — Dispersed Object Store (DOS). Mailion поддерживает одновременную работу до миллиона пользователей, и подобный уровень нагрузки выдвигает существенные требования к производительности и экономической эффективности системы.

Под катом рассказываем, как мы искали оптимальную конфигурацию нашего объектного хранилища, и какие уроки извлекли из этого поиска.

Читать далее
Всего голосов 28: ↑27 и ↓1 +26
Комментарии 2

Уменьшаем размер MacOS.vdi в VirtualBox

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 1.7K
Виртуализация *Хранение данных *
Из песочницы

Что ж, приступим сразу к делу. Как-то мы устанавливали виртуальную машину для сборки одного проекта, однако от души сделали динамический диск на 80GB. Однако позже стало понятно, что не стоило этого делать, так как у виртуальной MacOS оказалась весьма интересная особенность - даже если пространство на виртуалке остается незаполненным, она все равно занимает место на нашем Хосте (в моем случае - Windows). И так, вместо 27GB, фактически она занимала 50GB. Странно? Ну, пожалуй. Ведь динамический диск должен расширяться по ходу заполнения файлами. А что делать, если место пустует...

Так вот, к чему я это. Хватит предисловий и давайте попробуем разобраться с этим.
В целом, весьма четкая инструкция по этому вопросу уже была размещена на самом форуме VirtualBox.

Инструкция была максимально простой, но мне стало немного беспокойно из-за конфузов, которые случались у некоторых ребят с форума. Дело в том, что команда diskutil secureErase freespace 0 / стерла все данные, что были на виртуалке Mojave.vdi у одного юзера, а после часовой кропотливой сборки проекта на моей виртуалке этого совсем не хотелось. Пришлось еще немного порыться в интернете и поосторожничать.

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 1

О работе с персональными данными в «Ситимобил» спустя 2.5 месяца после утечки – взгляд пользователя

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 4.2K
Информационная безопасность *Обработка изображений *Хранение данных *Облачные сервисы *
Recovery mode
Из песочницы

В этой статье будет рассмотренно продолжение известной по прошлому году истории о подходе к обработке персданных в «Ситимобил». Напомню, 23 декабря 2022 года стало известно об утечке данных водителей «Ситимобил». Компания признала факт утечки, уведомила Роскомнадзор, принесла извинения водителям и заявила о проведении внутреннего расследования. Среди многочисленных утечек (а всего по данным Роскомнадзора в 2022 было зафиксировано порядка 150 крупных утечек персональных данных) утечка у «Ситимобил» отличалась тем, что в открытый доступ попали не просто персданные, а изображения паспортов водителей.

На сегодняшний день информации о назначении штрафа компании еще нет. Но мне кажется, что при его назначении учтут, что в этой утечке были изображения паспортов и, как показано вот здесь изображения селфи водителей с паспортом одновременно. Не знаю можно ли фото, на котором есть и паспорт, и лицо крупным планом, классифицировать как биометрию, но очевидно, что с таким фото возможностей для нанесения ущерба водителю становится сильно больше.

В этой заметке я хочу показать свой взгляд пользователя на то, как происходит обработка изображений паспортов и персданных водителей в «Ситимобил» через 2.5 месяца после утечки.

Читать далее
Всего голосов 22: ↑22 и ↓0 +22
Комментарии 14

Инструменты наблюдаемости, о которых нужно знать в 2023 году

Уровень сложности Простой
Время на прочтение 9 мин
Количество просмотров 4.6K
Блог компании RUVDS.com Open source *Хранение данных *Облачные сервисы *Микросервисы *
Перевод

Когда организации переходят в облако, их системы тоже начинают стремиться к распределённым архитектурам. Один из самых распространённых примеров этого — использование микросервисов. Однако это также создаёт новые сложности с точки зрения наблюдаемости.

Необходимо подбирать подходящие инструменты для мониторинга, отслеживания и трассировки этих систем при помощи анализа выходных результатов посредством метрик, логов и трассировок. Это позволяет командам разработчиков быстро выявлять первопричины проблем, устранять их и оптимизировать производительность приложений, ускоряя выпуск кода.

В этой статье мы рассмотрим возможности, ограничения и важные особенности одиннадцати популярных инструментов наблюдаемости, что позволит вам выбрать наиболее подходящий для вашего проекта.
Читать дальше →
Всего голосов 43: ↑41 и ↓2 +39
Комментарии 4

Потоки событий бесполезны без действий

Уровень сложности Простой
Время на прочтение 9 мин
Количество просмотров 2.3K
Блог компании RUVDS.com Администрирование баз данных *Хранение данных *Хранилища данных *
Перевод

Каждая точка данных в системе, регулярно генерирующей данные, соответствует событию (Event). Потоки событий (Event Stream) — это непрерывный поток событий или точек данных. Иногда потоки данных называют в сообществе разработчиков потоками данных (Data Stream), потому что они состоят из непрерывных точек данных. Event Stream Processing — это действия, выполняемые с генерируемыми событиями.

В этой статье подробно рассматриваются потоки данных и Event Stream Processing, рассказывается, как работает Event Stream Processing, объясняются различия между Event Stream Processing и Batch Processing, преимущества и способы применения ESP, а завершается она наглядным примером Event Stream Processing.
Читать дальше →
Всего голосов 32: ↑31 и ↓1 +30
Комментарии 0

Как усмирить данные о звонках в таблицах одним скриптом

Время на прочтение 8 мин
Количество просмотров 740
Блог компании МТС API *Хранение данных *Хранилища данных *Облачные сервисы *

Привет, Хабр! Меня зовут Анастасия Иванова, я технический писатель МТС Exolve. В этой статье я расскажу о том, как поместить информацию о звонках в привычный формат таблиц на примере нашей платформы (краткий обзор сервиса вы найдете тут) и Google Таблиц. В частности, вы узнаете о том, как импортировать статистику входящих и исходящих вызовов, а также исходящих голосовых SMS.

Для этого мы напишем скрипт на языке программирования от Google (Apps Script), который будет делать HTTP-запрос в Statistics API и сохранять полученные данные в Google Таблицу. Мы покажем пример импорта некоторых данных статистики, далее вы сами сможете изменить скрипт, чтобы подстроить его под свои нужды.

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 0

Процесс ELT: основные компоненты, преимущества и инструменты создания

Время на прочтение 11 мин
Количество просмотров 2.5K
Data Mining *Big Data *Хранение данных *Хранилища данных *
Перевод

Если ваша задача заключается в аналитике данных или в машинном обучении, то успех её выполнения зависит от создаваемых вами конвейеров данных и способов их создания. Но даже для опытных дата-инженеров проектирование нового конвейера данных каждый раз становится уникальным событием.

Интеграция данных из множества разделённых источников и их обработка для обеспечения контекста содержит в себе и возможности, и трудности. Один из способов преодоления трудностей и получения новых возможностей в области интеграции данных — создание конвейера ELT (Extract, Load, Transform).

В этой статье мы подробно рассмотрим процесс ELT, в том числе его работу, преимущества и распространённые способы применения. Также мы поговорим о различиях между ELT и ETL (Extract, Transform, Load) и дадим советы по созданию и оптимизации конвейера ELT.
Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 1

Как Digital twins помогают создать автономную фабрику

Уровень сложности Средний
Время на прочтение 11 мин
Количество просмотров 3.2K
Анализ и проектирование систем *Хранение данных *Робототехника Искусственный интеллект
Из песочницы

Подход к использованию концепции Digital twin для создания производства нового типа - автономной масштабируемой смарт фабрики.

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Комментарии 6

Вклад авторов