Как стать автором
Обновить
32.69

Хранилища данных *

Публикации, рассказывающие о хранилищах данных

Сначала показывать
Порог рейтинга
Уровень сложности

Подводные дата-центры и хранение информации в QR-кодах: новшества индустрии ЦОД

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 896

По данным TAdviser, в России зафиксирован небывалый «бум» строительства ЦОДов. Схожая картина наблюдается и в остальных странах: по итогам 2022 года общий объем данных в мире составил 97 зеттабайт, в 2023 году — 110-120 зеттабайт, а к 2025 году — прогноз вплоть до 180-ти. Всю эту информацию нужно где-то обрабатывать и хранить — потребность в дата-центрах растет ежемесячно. По данным «Коммерсанта», спрос на услуги дата-центров в значительной степени превышает предложение. Именно поэтому на сферу направлено сейчас пристальное внимание, а где внимание, там и высокие технологии.   

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 0

Новости

От перфокарт в облако. Где вы хранили файлы десятилетие назад?

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 1.3K


В годы моей бурной юности в ходу были пятидюймовые дискеты. Их и вправду можно было назвать “floppy”, то есть, гибкими — футляр из плотного коленкора довольно легко сгибался, пробивался степлером и даже с некоторым усилием сворачивался в трубку. Перфокарты я тоже застал — родители иногда приносили их домой из вычислительного центра, в котором работали, и маленький я рисовал на этих забавных карточках с напечатанными типографским способом рядами цифр (и совой, сова с надписью «КАНГАС» почему-то накрепко засела в памяти) короткими фломастерами от плоттеров-графопостроителей, которые в ассортименте добывались там же, в ВЦ. Сейчас, используя многогигабайтовое облако, смешно вспоминать эту бумажную карточку емкостью 80 байт. Зато можно сказать, что эволюцию носителей информации от перфокарт к облаку я увидел собственными глазами.
Читать дальше →
Всего голосов 17: ↑15 и ↓2 +13
Комментарии 11

Web 3.0 и частные данные

Время на прочтение 8 мин
Количество просмотров 1.2K

Эта публикация является развитием идей, сформулированных в предыдущей статье - "Идентификация пользователей в Web 3.0". После предыдущей публикации я понял, что в массах нет однозначного определения, что же именно называть Web 3.0 - виртуальную реальность, интернет вещей или децентрализацию на базе блокчейна. С моей точки зрения, Web 3.0 - это архитектура веб-приложений, обусловленная спросом пользователей на конфиденциальность их собственных данных.

Развитие идей Web 2.0 привело к тому, что пользователи сами стали товаром. Вернее, товаром стала информация об их связях и предпочтениях, которую собирают и монетизируют корпорации типа Google и Facebook. В ответ на это у многих пользователей появилось желание не делиться своими персональными данными с корпорациями, а хранить свои данные в недоступном для корпораций месте. Размышлениям о том, к каким последствиям может привести персонализация хранимых данных, и посвящена данная публикация. Сразу предупреждаю - это просто моё растекание мыслью по древу, а не "сборник рецептов" или разъяснения "как всё устроено". Не очаровывайтесь, чтобы не разочароваться :)

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Комментарии 4

Что нового в IMSProg?

Уровень сложности Простой
Время на прочтение 2 мин
Количество просмотров 2K

Пару месяцев назад я писал историю создания программатора микросхем CH341a для Linux систем. Благодаря вашим отзывам и комментариям программа изменилась, надеюсь в лучшую сторону.

Читать далее
Всего голосов 28: ↑28 и ↓0 +28
Комментарии 0

Истории

Снова на те же грабли. Разбираемся с ошибками хранения ПДн и способами защиты медицинских данных

Время на прочтение 5 мин
Количество просмотров 1K

Привет, Хабр! Ловите новую подборку от beeline cloud — собрали практические истории по работе с персональными данными. Здесь и основные ошибки хранения ПДн, и советы, которые помогут навести порядок, и примеры защиты личных данных пациентов в виде кейса компании, которая проводит дистанционные медицинские осмотры.

Читать далее
Всего голосов 12: ↑8 и ↓4 +4
Комментарии 1

The СПО Strikes Back

Время на прочтение 2 мин
Количество просмотров 1.9K

Как-то удачно началась неделя. В поле зрения попали отчет про то, как СПО, преодолевая все трудности - наконец показывает огого какие цифры (по работе дисковой подсистемы в CEPH )

Читать далее
Всего голосов 6: ↑3 и ↓3 0
Комментарии 1

Что находится внутри физического Архива Интернета

Время на прочтение 4 мин
Количество просмотров 13K

Когда я был в Сан-Франциско на AI Engineer Summit, то воспользовался возможностью посетить Архив Интернета — физический архив в калифорнийском городе Ричмонде примерно в двадцати минутах езды от Сан-Франциско.

Я купил билет на «экскурсию по закулисью физического архива» 11 октября и прибыл прямо перед началом; я был рад, что не приехал раньше, потому что физический архив находится (вполне логично) на складе в промышленной части Ричмонда. Похоже, больше ничего интересного в окрестностях нет.

Я попросил водителя Uber подбросить меня до парковки со знаком Internet Archive. Но оглядевшись, я не смог найти публичного входа на склад. Рядом стояло ещё несколько озадаченных фанатов истории Интернета, мы неуклюже поздоровались и начали обсуждать, там ли находимся. Вскоре нас заметила пара людей в конце улицы и помахала нам.
Читать дальше →
Всего голосов 76: ↑76 и ↓0 +76
Комментарии 14

Для чего подходит ультрадешёвый сервер за 130 рублей

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 45K


В рекламе RUVDS постоянно упоминаются дешёвые VPS-серверы «за 130 рублей в месяц». Но многие думают, что это маркетинговый трюк: такие серверы может и есть, но только для рекламы, чтобы предложение звучало красиво, а в реальности они совершенно непригодны. Ну что может сервер с 512 МБ оперативной памяти? Конечно же, ничего. На него даже операционка не встанет…

В реальности всё совсем иначе. На этот сервер ставятся разные дистрибутивы Linux, задачи он выполняет реальные, и вы даже получаете выделенный IP-адрес.
Читать дальше →
Всего голосов 80: ↑77 и ↓3 +74
Комментарии 131

Процесс Self Service BI или алхимия работы с данными

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 1.1K

Всем привет, я Сергей Бондарев, Директор по управлению данными и директор по аналитическим решениям ПГК, и сегодня хочу поделиться нашим опытом по поводу построения у нас Self Service BI. При подготовке материала я специально не читал никаких книжек и статей по этой теме, чтобы поделиться исключительно своим опытом, добытым различными экспериментами, в основном удачными.

В 2022 году мы спроектировали и построили платформу данных, включающую хранилище с механизмами доставки данных, систему управления справочной информацией, BI систему. В совокупности системы должны обеспечить наши команды ИТ, цифровой фабрики набором инструментов, необходимых для разработки функционала цифровых продуктов, продуктовой и проектной аналитики. При этом, на этапе сбора требований к проектированию BI платформы сложилось понимание высокого потенциала аналитики, разрабатываемой пользователями самостоятельно.

Перевозка грузов по железной дороге – это сложный процесс, включающий в себя тщательное планирование и координацию всех этапов. В нашей компании используется порядка 150 основных показателей перевозочной, коммерческой, финансовой деятельности, обеспечения технического состояния вагонного парка.  Оперирование является довольно сложным бизнесом, и для эффективного управления необходимо постоянно учитывать изменяющиеся условия на базе своевременной аналитики.

Поэтому в нашем случае Self Service решения — это не очередная модная тенденция, а шаг эволюции в развитии ИТ, обусловленный развитием ИТ - компетенций в различных подразделениях компании. Использование языков программирования нашими экономистами, аудиторами, финансистами в своей работе является нормальной практикой. Это не констатация факта о продвинутости наших сотрудников, а про то, что уже длительное время размывается граница между ИТ и не-ИТ компетенциями. Бизнес-аналитики ИТ знают предметную область зачастую наравне с бизнес-экспертами профильных функций, в то время как бизнес-эксперты могут владеть Python или SQL на уровне ИТ-разработчика. В современной организации разделение ИТ и бизнес-подразделения происходит на не границе компетенций, а скорее на уровне границ процессов.

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Комментарии 1

Снежинка, Data Vault, Anchor Modeling. Какая методология проектирования DWH подойдет для вашего бизнеса?

Время на прочтение 6 мин
Количество просмотров 3.8K

Зачем тратить время на выбор методологии построения DWH? Крайне важно правильно выбрать методологию моделирования данных для хранилища еще на этапе проектирования, это поможет обеспечить необходимый уровень гибкости и масштабируемости, а также позволит синхронизоваться с поставленными бизнес-задачами.

Сравниваем Снежинку, Data Vault и Anchor Modeling и предлагаем алгоритм выбора методологии построения DWH.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Комментарии 8

Неинвазивный мониторинг ЦОД: повышаем надежность и снижаем затраты

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 2.8K

В центрах обработки данных используется оборудование от разных вендоров, с различными встроенными системами мониторинга. Когда таких систем становится много, уследить за подобным «зоопарком» непросто.

Но как сделать систему мониторинга, которая будет работать в любом автозале, независимо от оборудования?

Как установить такую систему неинвазивно, то есть не вмешиваясь в работу автозала? Как сделать так, чтобы не просто увидеть все события в автозале, но и повысить эффективность энергопотребления? И как при этом не пробить брешь в системе защиты от злоумышленников?

В статье мы как раз рассмотрим такое решение на примере автозала телекоммуникационной компании в Санкт-Петербурге. Интересно? Ныряйте под кат

Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Комментарии 11

MinIO Multi-Node Multi-Drive

Время на прочтение 5 мин
Количество просмотров 2.6K

Объектное хранилище — название отражает принцип работы, хранение данных в виде объектов с уникальным индексом.

Хочу расcказать о своем опыте работы с одним из них.Меня заинтересовал один конкретный продукт — MinIO, из‑за достаточно простой установки, настройки и не плохого функционала. Есть несколько вариантов инсталляции MinIO:

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Комментарии 3

Как сберечь файлы, произведенные сотрудниками на локальном компьютере? Мы синхронизируем их со своим сервером Synology

Время на прочтение 3 мин
Количество просмотров 3.8K

У сотрудников компании у каждого свой ноут. Они работают и производят при этом массу файлов. Каждый такой файл можно оценивать как некую стоимость в человекочасах. И вдруг человек теряет комп. Или роняет. Или сгорает его диск.

И вся его работа пропала. А фирма должна заново платить ему зарплату, что бы он снова произвел на свет ту же самую работу.

Читать далее
Всего голосов 17: ↑6 и ↓11 -5
Комментарии 72

Ближайшие события

Открытый урок «Behaviour Tree в Unity»
Дата 8 февраля
Время 19:00
Место
Онлайн
One Day Offer от УЦСБ
Дата 17 февраля
Время 10:00
Место
Онлайн

Построение архитектур для обработки данных в режиме реального времени при помощи Apache Kafka, Flink и Druid

Уровень сложности Сложный
Время на прочтение 11 мин
Количество просмотров 7.2K
image

Командам, которые занимаются обработкой данных (поступающих пакетными партиями в рабочих потоках) сложно соответствовать современным требованиям по обработке данных в режиме реального времени. Почему? Потому что пакетный поток данных – от доставки данных до их дальнейшей обработки и анализа – это такая вещь, при работе с которой нужно уметь ждать.

Требуется ждать тех данных, которые пойдут на отправку в ETL-инструмент, дожидаться, пока будет обработана куча данных, ждать, пока информация будет загружена в хранилище данных и даже ждать, пока закончат выполняться сделанные запросы.

Но в опенсорсном пространстве есть решение, разработанное в опенсорсе. В сочетании друг с другом Apache Kafka, Flink и Druid, позволяют создать архитектуру для обработки данных, которая работает в режиме реального времени и позволяет исключить все эти этапы ожидания. В этом посте мы исследуем, как комбинация этих инструментов позволяет создавать широкий спектр приложений для обработки данных в режиме реального времени.
Читать дальше →
Всего голосов 20: ↑19 и ↓1 +18
Комментарии 0

Я сделал Cardoteka и вот как её использовать [кто любит черпать]

Уровень сложности Простой
Время на прочтение 11 мин
Количество просмотров 1.9K

Привет! Самое время в предновогоднее настоящее поделиться с вами опенсУрс проектом :) Встречайте -> Cardoteka <- строгая типизированная обёртка над Shared Preferences (SP) в мире Flutter. Этот материал будет коротким, с рекламными нотками (а точнее, приглашающий к дискуссии в issues и в комментарии) и readme-подтекстом. Так или иначе, это заслуженная метка "Обзор".

https://github.com/PackRuble/cardoteka

https://pub.dev/packages/cardoteka

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

БД — это скальпель или мультитул? Куда привела эволюция СУБД в 2023 году

Время на прочтение 10 мин
Количество просмотров 11K

За последние пару десятилетий с ростом объёма данных на рынке СУБД сложился интересный ландшафт. Появились новые СУБД, при этом старые продолжали развиваться — и сориентироваться среди них становилось всё сложнее. 

В этой статье предлагаем рассмотреть эволюцию разных СУБД и сравнить их между собой. Поможет нам в этом Олег Бондарь, директор по продукту в Yandex Cloud, который отвечает за развитие YDB — это транзакционная реляционная база данных с открытым исходным кодом. Статья написана по материалам его доклада на Saint Highload++.

Читать далее
Всего голосов 28: ↑24 и ↓4 +20
Комментарии 21

Как создать сервис по оценке транспортной доступности новостроек при горящих дедлайнах

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 1.3K

Привет, Habr! Меня зовут Руслан Габдрахманов, я руководитель команды разработки информационных систем в «МосТрансПроекте». Сегодня расскажу, как мы создавали городской сервис «Узнай про ЖК», упрощающий выбор квартиры или жилья. 

Читать далее
Всего голосов 10: ↑9 и ↓1 +8
Комментарии 5

Разгоняем Ignite в облачной инфраструктуре. Часть 2

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 824

Привет! С вами Дмитрий Пшевский и Семён Попов, технические лидеры юнита Data в Сбере. Это вторая часть нашего материала о производительности сервисов при работе с Ignite.

В первой части мы рассказали, как перешли от монолита к микросервисной архитектуре, попробовали поработать с толстым клиентом и переключились на тонкого. Расскажем, какие сложности у нас возникли в процессе эксплуатации нашего решения в облачной инфраструктуре, почему пришлось минимизировать транзакционную логику на клиенте и к чему мы пришли в итоге. Статья написана на основе нашего доклада на JPoint 2023.

Поехали!

Читать далее
Всего голосов 16: ↑16 и ↓0 +16
Комментарии 0

Big Data в облаке: строим доступное хранилище

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 2.6K

За последние годы «большие данные» стали восприниматься более гибко и могут включать в себя объемы, которые ранее не рассматривались как «большие». При этом снизились затраты на хранение и обработку информации. Теперь инструменты работы с данными подобных масштабов доступны даже небольшим компаниям.

Важно помнить, что работа в этом направлении включает в себя разнообразные вызовы, связанные с ограничениями оборудования, типами источников данных, сложностью анализа. Данные нужно правильно собирать, хранить и обрабатывать, а для этого нужно выстроить правильную инфраструктуру.

Сегодня расскажем про решение, которое уменьшит неопределенность при работе с крупными данными и поможет максимально быстро построить с нуля удобную и недорогую систему для аналитических задач в вашей компании.

Читать далее
Всего голосов 17: ↑14 и ↓3 +11
Комментарии 0

Почему работа с данными так популярна: Data Scientist, Big Data и объектное хранение

Уровень сложности Простой
Время на прочтение 9 мин
Количество просмотров 5.7K

По оценкам Cybersecurity Ventures, к 2025 году общий объем данных в облаках достигнет 100 зеттабайт, или 50% всех мировых данных на тот момент. Ландшафт хранения этой информации разнообразен: от недорогих обычных серверов до огромных хранилищ на сотни петабайт. 

При экспоненциальном росте информации возможности работы с данными расширяются. Отчет LinkedIn о новых вакансиях показывает, что мировой рынок работы в области науки о данных вырастет до 230,80 млрд долларов к 2026 году. 

Наука о данных является востребованной, интересной, и, казалось бы, очень сложной областью знаний. Однако хорошая новость заключается в том, что она доступна для новичков. В статье мы разберемся, с какими базовыми основами нужно познакомиться при работе с данными.

Читать далее
Всего голосов 17: ↑13 и ↓4 +9
Комментарии 1

Вклад авторов