Администрирование баз данных *

Доклад Алексея Лесовского про то, что нового есть в PostgreSQL в плане мониторинга.

Охватывать Алексей будет 13 и 14 версии. Далее от его лица.

Привет, меня зовут Сатбек, я работаю в команде Tarantool. Расскажу, как реализовать в шардированном кластере поиск, скорость которого не зависит от количества мастеров и объёма хранимых данных. Условно назову этот способ индексным слоем:

- Опишу общую схему построения поиска.

- Приведу пример реализации.

- Дам рекомендации по разработке.

В статье я последовательно реализую простой CRUD-сервис с шардированным хранилищем, а также поиск по данным. Это поможет вам лучше понять, когда возникают проблемы с поиском по распределённым данным и как их решает индексный слой.

Использовать будем БД Tarantool (версия ≥ 1.10), а также фреймворк для построения кластеров Tarantool-Cartridge (версия 2.7.0).

Для лучшего понимания желательно познакомиться с фреймворком Tarantool-Cartidge, модулем vshard, а также языком Lua, так как пример написан на нём.

Соблазн использовать модель EAV (Entity-Attribute-Value) при организации структуры БД весьма велик, особенно когда предметная область заранее плохо известна (или разработчик просто не хочет в нее углубляться). Это ведь так удобно - создать "универсальный" способ описания характеристик объектов, который больше не потребует доработок базы ни при появлении новых типов объектов, ни при возникновении новых атрибутов...

Однако, за любую универсальность приходится платить сложностью и производительностью запросов - так что json[b] может оказаться более эффективной заменой. Но если уж такая модификация невозможна - давайте попробуем выжать максимум производительности из доставшегося нам legacy на самом простом примере.

Выкладываем запись с Ozon Tech PostgreSQL Meetup. Ранее я уже описывал нашу инфраструктуру: весь PostgreSQL основан на виртуальных машинах — 2К в тестовой среде и ~8К в проде. Это около 2К кластеров баз данных. Так как у нас микросервисная архитектура, мы придерживаемся принципа 1 сервис = 1 база. Нагрузка на базы может быть приличная: 2-2,5 млн транзакций в секунду, а WAL-трафик порядка 1.5 ГБ/c. 

Рассказали, как наша команда управляет всей этой инфраструктурой, как пришли к парадигме выдачи базы по кнопке и как воплотили её в жизнь. 

Часто пользователи рассказывают о сбое базы данных по вине Out Of Memory Killer. Он завершает процессы PostgreSQL и остается причиной большинства отказов этой БД. Память на хост-компьютере может закончиться по нескольким причинам. Наиболее распространены из них четыре. Во-первых, может быть плохо настроена память на хост-компьютере. Во-вторых, могут быть ограничения глобальной переменной work_mem. Например, если у вас 32Гб RAM и work_mem=1Гб, то больше 32 соединений вы никогда не запустите. Каждое соединение PostgreSQL будет выделять этот размер памяти.

Третьей причиной будет большое количество подключений. Даже неактивное соединение может занимать значительный объем памяти. И наконец, другие программы тоже потребляют ресурсы, потому что для каждой из них этот компьютер является хостом.

Представляем вам перевод статьи от Jobin Augustine, который работает в Percona старшим инженером службы поддержки. Более 20-лет он был консультантом, архитектором, администратором и инструктором по PostgreSQL, Oracle и другим технологиям баз данных. Сегодня поговорим о том, как можно защититься от OOM с помощью HugePages и разберем насколько они важны и почему нужны.

С 2014 года в России реализуется программа импортозамещения, которая распространяется в том числе на программное обеспечение и системы управления базами данных, поднимая вопросы оптимальной миграции. В этой статье мы, специалисты департамента разработки «Консист Бизнес Групп», расскажем про особенности проекта Debezium для обеспечения миграции баз данных с разбором нагрузочного тестирования миграции.

Всем привет, меня зовут Александр Даниленко, я – ведущий разработчик отдела «Бюджет-Online». В компании «БАРС Груп» работаю уже 5 лет. За это время нам удалось успешно исправить некоторые сложности процесса разработки. Первая проблема, с который мы столкнулись – развороты больших баз данных (БД) у разработчиков на локальных машинах. Сегодня мы расскажем об инструменте «Databaser», который на 100% позволяет ее решить.

Привет! Недавно X5 провела об опенсорсном проекте Keyckloack. По традиции публикуем запись мероприятия и презентации спикеров.

Вы когда-нибудь задумывались о том, чтобы перенести крупномасштабное программное решение с Oracle на PostgreSQL, а затем развернуть его в общедоступном облаке? Если Вы планируете реализовать подобное, возможно, Вам поможет наш опыт. Данная статья подробно рассказывает о нашем опыте настройки облачного хранилища, используемого PostgreSQL и оптимизации его производительности.

Привет, Хабр! Меня зовут Алексей, я тимлид команды инфраструктурных разработчиков и инженеров PostgreSQL. У нас небольшая команда — всего 6 человек, но при этом довольно большая инфраструктура, на которой едут наши инстансы PostgreSQL. Это около 8000 виртуальных машин в проде, 2000 в тестовой среде. Общие нагрузки на базы ~2млн TPS, WAL трафик 1.5 ГБ/c. Наш стек технологий: KVM, PostgreSQL, GO, Python, Patroni.

Мы используем PostgreSQL в mission critical-подсистемах, от которых напрямую зависит бизнес компании (склад, корзина, оплата картами, платежи, информация о товарах на сайте и так далее). В моей команде работают сильные специалисты в этой области, и с учетом масштаба и высоких нагрузок — мы накопили много интересной экспертизы и хотим ей поделиться. 

В программе:

— PostgreSQL как сервис для внутреннего заказчика,

— Как управлять бэкапами в высоконагруженной среде,

— Фичи, которых нет. Краткий обзор состояния резервного копирования в других СУБД,

— Круглый стол с представителями Авито, Yandex.Cloud, PostgresPro.

Сетевые накопители (NAS) — практически идеальные устройства: компактные, экономичные, тихие. Легко настроить, легко использовать. Мечта домашних пользователей и администраторов небольших сетей. 

К сожалению, простота настройки имеет и обратную сторону: не слишком погружённые в тему кибербезопасности владельцы NAS используют «слабые» настройки, превращая свои устройства в лёгкую мишень для взлома. 

Мы изучили текущую инфраструктуру популярных устройств NAS и выявили значительные угрозы и риски, которые могут привести к их компрометации. В этом посте — наиболее важные результаты нашего исследования.

В моей практике ускорения SQL-запросов для PostgreSQL, в большинстве случаев, все сводится к применению типовых методик - их не особенно-то и много, и прочитать про большинство из них можно в моем профиле.

Но иногда обнаруживаются очень странные вещи в поведении этой, безусловно, отличной СУБД.

Все началось с запроса, который мне показали с диагнозом "необъяснимо тормозит"...

За последние двадцать лет в России почти 2 (два !!!) миллиона человек получили диплом юриста.

Кто из них, занимается непосредственно оказанием юридических услуг никто не знает. Приводятся цифры от 100 тыс. до 1 млн. человек.

 Для юристов и прочих потребителей правовой информации существуют справочно-правовые системы «КонсультантПлюс», «Гарант».

А для автоматизации рутинных процессов почти никаких программ нет.

17 февраля в 19:00 X5 Tech проведёт митап о Keyckloack — опенсорсном продукте, который упрощает реализацию защиты приложений. Наши специалисты расскажут о том, как разрабатывать кастомные плагины для Keycloack, что такое token exchange и Keycloack x.

Недавно одна обширная торговая сеть запустила программу лояльности. Команда Бастион участвовала в этом проекте в качестве консультантов по информационной безопасности, и это отличный повод поговорить о защите баз с персональными данными.

В этом посте расскажем, как работает database activity monitoring, какие мощности нужны, чтобы анализировать гигабиты трафика на лету, и в чем внешний мониторинг превосходит встроенный.

Привет, Хабр! Буквально через пару дней пройдет очередной Oracle Engineered Forum. Мероприятия (виртуальное) будет полезно для тех, кто интересуется новым форматом работы программно-аппаратных комплексов Exadata — Cloud@Customer. Желающие узнать, как именно работают облачные сервисы с размещением оборудования в вашем ЦОД, могут уже сегодня зарегистрироваться на мероприятия. Подробнее о программе и акцентах ивента — под катом.