За время работы с объектными хранилищами я встречал немало «подводных рифов» на пути к быстрому и эффективному хранению.
В этой статье я покажу, где чаще всего проседает производительность при работе с S3-совместимым хранилищем, — на примерах из реальных кейсов технической поддержки.
Привет, Хабр!
Иммутабельность данных в Rust – это основа для создания систем, устойчивых к ошибкам и сайд-эффектам. В этой статье рассмотрим, как Rust позволяет использовать неизменяемые структуры данных для улучшения производительности и безопасности приложений.
Начнем с синтаксических особенностей.
Всем очевидно, что промышленные системы вычислений и хранения данных требуют особого подхода к обеспечению их надежности, долговечности и производительности. Поэтому и качество применяемого в таких условиях оборудования должно выходить за рамки стандартных потребительских решений. Сегодня мы поговорим подробнее о промышленных решениях Transcend и разберемся, в чем именно заключаются эти отличия.
В моей базе знаний 4 000 заметок.
Да, у меня немного съехала крыша на этой теме. Но решение создать систему для ведения заметок три года назад — пока что лучшая из моих интеллектуальных инвестиций. В этом посте хочу поделиться, зачем я это делаю, в каком формате и какие полезные практические кейсы для себя нашел. Тема бездонная, на самом деле. Можете взять часть идей и развить у себя.
В эпоху облачных хранилищ и многотерабайтных жестких дисков использование дискет кажется анахронизмом. Однако несмотря на ограниченную емкость и уязвимость к воздействию внешних факторов, они все еще находят применение.
Например, мы привыкли видеть Японию технологическим лидером во многих отношениях. Так и есть, но это не помогло им избежать проблемы хранения данных на флоппи-дисках. Анастасия Босина, ML-инженер, разобралась, почему Страна восходящего солнца начала борьбу с дискетами и победила, почему по тому же пути не пошел американский Сан-Франциско, и чем это грозит.
Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код.
Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте.
Сейчас развертывание дата платформ и решений для аналитки в облаке - явление повсеместное. Кажется, что так было (и будет?) всегда. При этом существует постоянное (но не всегда очевидное) противостояние между подходами Cloud Native и Cloud Agnostic. Cloud Native поддерживает использование специфических сервисов конкретного облачного провайдера, в то время как Cloud Agnostic нацелен на создание приложений, которые могут работать на различных облачных платформах без изменений.
Важно осознавать различия между этими подходами и принимать обоснованные решения при выборе одного из них для своего проекта. Этот выбор может существенно повлиять на архитектуру, масштабируемость вашей дата платформы и стоимость разработки и поддержки.
Однако важно помнить, что не следует впадать в крайности и быть абсолютно приверженным только одному из подходов (вспомним акисому Эскобара). Иногда оптимальным решением может быть комбинация обоих подходов, чтобы достичь оптимального баланса между гибкостью и эффективностью.
В данной статье я попытаюсь описать подход, который в итоге я внедрил в своей команде для построения дата-инфраструктуры.
Привет! Меня зовут Иван Прохоров, я руководитель продукта MaxPatrol SIEM. Мы продолжаем наше технологическое погружение в наш SIEM и сегодня расскажем об активоцентричности и хранении данных. А помогать мне в этом будет мой коллега, архитектор продукта MaхPatrol SIEM, Роман Сергеев.
В прошлой статье мы рассказали, как устроен MaхPatrol SIEM, взглянули на его пайплайн и поговорили про нормализацию и обогащение данных об инцидентах. Тогда же мы вскользь затронули тему активов и сегодня обсудим ее более детально. Разберемся, что такое цифровые активы, зачем они нужны, как их используют и защищают.
В современном мире, где объемы данных растут экспоненциально, а требования к их доступности и безопасности становятся все жестче, выбор оптимального сетевого хранилища (Network Attached Storage, NAS) становится критически важной задачей для профессионалов и продвинутых пользователей. Правильно подобранное NAS-решение может стать ключевым фактором эффективности IT-инфраструктуры, обеспечивая не только надежное хранение данных, но и повышая производительность всей системы в целом.
При покупке NAS необходимо учитывать множество факторов, каждый из которых может существенно повлиять на эффективность работы и общую стоимость владения системой. Рассмотрим подробнее основные аспекты, на которые следует обратить внимание при выборе NAS для корпоративного использования.
Дмитрий Богомолов, архитектор отдела проектирования, подготовил материал о ключевых различиям DLP и DAG-решений.
Стремительный рост объемов неструктурированного корпоративного контента стал одной из острейших проблем для ИТ- и ИБ-подразделений. При этом, по оценке международной аналитической компании ITC, суммарный объем данных в ближайшей перспективе достигнет уровня 175 зеттабайт, или 175 миллиардов гигабайт, и существенная доля такой информации будет неструктурированной.
Поэтому управление доступом к неструктурированным данным становится проблемой для большинства крупных компаний. Мы часто слышим, что для решения подобных задач достаточно использовать DLP-системы. Да, нередко подобные продукты закрывают ряд задач по управлению доступом к неструктурированным данным, но в большинстве случаев использование специализированных DAG-платформ более эффективно с точки зрения управления рисками в крупных компаниях.
В статье вы узнаете кто такой Data Engineer | Дата Инженер. Какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии
Еще относительно недавно (каких‑то лет 10–15 назад) выбор СУБД для приложения в среднестатистической корпоративной среде ограничивался всего тремя вариантами: Microsoft SQL, Oracle и MySQL. При этом каждое решение имело свою нишу. Нужно что‑то серьезное под большую нагрузку — вот вам Oracle, что‑то попроще — MS SQL, а если какое‑то веб‑приложение — то MySQL.
Но все чаще в корпоративной инфраструктуре появляются задачи, требующие нового подхода к выбору СУБД. Речь про потребности, которые смогут закрыть СУБД на основе искусственного интеллекта, или такие решения, как Big Data и NoSQL. При подборе новых решений традиционный способ выбора только ограничивает поиск и не дает нужной производительности и гибкости. При этом часто выбор СУБД сводится к «поставим PostgreSQL, на нем точно заработает». Да, в большинстве случаев заработает, так как сама по себе PostgreSQL модульная и из нее, как из конструктора, можно много чего сделать, но какими усилиями и ресурсами? Быть может, уже на этапе выбора платформы стоит задуматься о том, что подойдет лучше?
В этой статье я расскажу, какие сейчас бывают СУБД и как их можно систематизировать под конкретную задачу. Сразу оговорюсь: я не претендую на истину в последней инстанции, и вполне возможно, что кто‑то смотрит на структурирование СУБД по‑своему.
Компания Huawei хорошо известна. В России прекрасно представлены ноутбуки, смартфоны и прочая мобильная электроника, а также телекоммуникационное оборудование. Но азиатского гиганта, похоже, никто не остановит, ведь компания решила пойти дальше и представила свой первый SSD‑накопитель — eKitStor Xtreme 200, предназначенный для профессионалов и продвинутых пользователей. Посмотрим, чем он так хорош.
В статье рассказано, как вам может помочь утка при работе с данными, с OLAP-нагрузкой и как она может плавать в вашем Data Lake. Вы узнаете всё самое важное про DuckDB и сможете попрактиковаться в работе с DuckDB.
Есть у нас флагманский продукт под названием «Единый клиент», с которым работают десятки энтерпрайз-клиентов, оперирующих в нем сотнями миллионов записей. Продукт массивный, обвешанный аналитикой и различными сложными сервисами. В какой-то момент большая часть клиентов захотела получить общий uptime в 99,9%, чего сложно достичь без резервирования решения. И мы начали погружаться в эту тему практически с нуля.
В этом материале хочу поделиться нашим опытом перехода с одной ноды на 10+, расскажу о технических нюансах и решениях, которые мы использовали, а также про всякие боли в процессе перехода.
Привет Хабр!
Сегодня познакомимся с ключевыми новинками в версии 6.0 нашего продукта «Кибер Инфраструктура». Кибер Инфраструктура — это гиперконвергентное решение, объединяющее виртуализацию и программно‑определяемые хранилища. Наш продукт присутствует на рынке уже достаточно давно, используется заказчиками из различных отраслей, а также служит программной основой для программно‑аппаратных комплексов ведущих отечественных производителей. Подробнее о Кибер Инфраструктуре см. в обзоре новинок в версии 5.5 здесь.
