Привет, друзья. Приглашаем всех, кого интересуют вопросы современных производительных баз данных, к нам на первый @Databases Meetup — послушать:

• как готовить безопасные СУБД без потери производительности, расскажет «Газинформсервис»;
• как Mail.ru Cloud Solutions искали универсальную базу данных, не нашли — поэтому расскажут, как и на чем построили свою платформу IIoT (спойлер: не обошлось без Tarantool);
• и напоследок Arenadata познакомит вас с внутренним устройством Greenplum — мощной массивно-параллельной СУБД для аналитических задач.

Встреча пройдет 28 февраля (пятница) в 19:00 в московском офисе Mail.ru Group (Ленинградский проспект, д. 39, стр. 79). Регистрация обязательна и закрывается 26 февраля в 23:59 (или раньше, если закончатся места).

Привет, друзья. Приглашаем на Online @Databases Meetup 25 июня всех, кто вместе с нами интересуется вопросами современных производительных баз данных.

Подготовили для вас увлекательную программу, которая на этот раз полностью из хайлайтов — вы узнаете:

• Как собрать гибридное облако на Kubernetes, которое может заменить DBaaS, покажет Пётр Зайцев, CEO Percona.
• Как Mail.ru Cloud Storage эволюционировало за свои три года в проде и вместе с ним менялся подход к Tarantool в его архитектуре, поделится Владимир Перепелица, архитектор Mail.ru Cloud Solutions.
• Всё о JSON[b] в Postgres расскажет Олег Бартунов, CEO Postgres Professional.
• А стратегическими планами по развитию Postgres Pro поделится Иван Панченко, заместитель генерального директора Postgres Professional.

Митап пройдет 25 июня (четверг) в 19:00 в формате онлайн. Регистрация обязательна и закрывается 24 июня в 23:59.

Приглашаем на наш практикум ReBrain × Tarantool: мы научим, как с помощью этой СУБД можно сильно ускорить работу многих приложений.

Пара слов о Tarantool, если вы о нем еще не слышали. Это открытая NoSQL-база данных с сервером приложений на борту, которая хранит данные в памяти. Хранилище персистентно за счет продуманного механизма снэпшотов и write ahead log'ов. В Tarantool встроен LuaJIT (Just-In-Time Compiler), позволяющий исполнять код на Lua. Также можно писать хранимые процедуры на C, использовать базу данных как кэш. Она обслуживает до миллиона запросов в секунду, ищет по вторичным индексам и поддерживает SQL. В Tarantool можно исполнять код рядом с данными, это позволяет ускорить операции.

15 декабря в 17:00 проводим бесплатный вебинар «Деплоим приложение на Tarantool Cartridge в кластер Kubernetes MCS». Расскажем, как буквально в две команды разворачивать масштабируемые кластерные приложения.

Мы выпустили несколько новых релизов, главный из которых это Tarantool 2.7.2. Если кратко, то мы увеличили стабильность синхронной репликации и выборов лидера, исправили ряд проблем со сборщиком мусора, сделали скачок в удобстве документации, вывели из беты профилировщик памяти, выпустили прототип модуля с поддержкой HTTP/2, а деплой крупных кластеров с помощью Ansible-роли стал до 100 раз быстрее.

Рекомендованная конфигурация теперь выглядит как

• Tarantool 2.7.2
• vshard 0.1.17
• Cartridge 2.5.1
• Cartridge Ansible role 1.8.3
• Cartridge CLI 2.8.0
• CRUD 0.6.0

Ниже вы найдете все ссылки и детали по новым фичам.

В пятницу (да, сегодня) в 16:00 мск приходите на вебинар, где мы расскажем вам две истории.

Первым выступает Сергей Кононенко, разработчик из пресейл команды. Он расскажет про то, как делать нагрузочное тестирование Tarantool с помощью инструмента k6. А тем, кто не знает — что это за инструмент такой, и как в целом сейчас принято решать задачи нагрузочного тестирования.

Второй доклад от Александра Ляпунова, тимлида из core-команды. Саша расскажет про новый C++ коннектор. Почему именно С++, какие принципы заложили в архитектуру, его асинхронность, модульность и производительность.

Транслируем доклады и отвечаем на вопросы в прямом эфире на нашем Youtube-канале.

Подключайтесь в 16:00 МСК

Ко мне обратился один руководитель стартапа социальной игры с просьбой увеличить производительность своего проекта. На этом этапе был сделан и запущен прототип проекта. И надо отдать должное разработчикам, что проект работал и даже приносил какую-то прибыль. Но, запускать рекламную компанию не имело смысло, так как проект не выдерживал ни каких нагрузок. Валился MySQL (35% ошибок).

Код проекта… В общем у меня осталось впечатление, что писал его недоученный студент… И это, немотря на то, что уже был сделан частичный рефакторинг другим программистом. Единственное, что радовало, то это то, что не использовался какой-либо фреймворк. Конечно, это вечно флеймовый вопрос: Иисус или Магомед? Быть или не Быть? Unix или Windows? Использовать или не Использовать? ИМХО, Моё мнение: фреймворки заточены под узкий круг типовых задач. Социальный проект — задача, как правило, не типовая… Но, в целом, мне проект показался интересным и я решил взяться за улучшение. На этом вступление можно закончить…

Наверно, про повышение производительности и тему highload не писал только ленивый WEB разработчик, знающий хоть что-то в этой области. Принципиально, что-то нового, в данной статье вы не найдёте. Основные идеи разработки highload проектов, были мною изложены в цикле статей HighLoad. Три кита.. Если вам интересно, как я увеличил производительность PHP проекта, используя NoSQL хранилище tarantool, то Добро пожаловать под кат.

Хотя, принципиально можно использовать другое, подходящее под данный круг задач, key/value хранилище, и реализация серверной логики может быть на любом другом скриптовом языке.

Tarantool — это открытое, высокопроизводительное хранилище данных. Такие характеристики системы, как простота и производительность, во многом определяют область её применимости. На шкале решений для хранения данных Tarantool находится где-то посередине между традиционными реляционными системами, такими как MySQL, и решениями для кэширования данных, такими как memcached. В основе системы лежит персистентное хранилище данных, полностью отображённое в оперативную память, и высокопроизводительные индексы для доступа к данным на основе хэшей и бинарных деревьев.

В мои первые месяцы работы над Tarantool я попытался создать инструментарий тестирования, похожий на тот, что был в моём предыдущем проекте с открытым исходным кодом — MySQL.

Tarantool это замечательное высокопроизводительное no-Sql решение, разработка компании Mail.Ru. Исходники

Данное решение позволяет использовать как режим key/value, так и выборку множества записей в рекордсет по одному или нескольким критериям (полям поиска). Аналогов в рунете и не только, я пока не встречал. С натяжкой можно сравнить редис. Но в редисе — списковые данные и их нельзя выбирать по ключу. Судя до утверждениям разработчиков, скорость доступа по ключу превосходит memcache, при этом еще в бэдграунде осуществляется постоянное сохранение данных на диск. Но к сожалению, данная разработка имеет единственный perl клиент для доступа к данным, из-за чего не имеет такой популярности, как например у redis или memcache.

В doc/box-protocol источников есть описание Протокола, которое я в настоящее время переработал для написания клиента на Си и PHP. Изучив Протокол, вы можете реализоать нативный клиент на любимом Вам языке. Надеюсь, данная статья в этом Вам пригодится.

Tarantool это разработка компании Mail.ru. Представляет высокопроизводительное key/value no-Sql решение.Отсутствие портов для популярных языков программирования сдерживает популярность данной БД. Попытался восполнить данный пробел.
Ветка экспериментальная. Исходники
Далее примеры.

Если Вы пишете проект чуть более среднего, то как правило сталкиваетесь с настройками и конфигурированием. Есть не мало решений на С/С++, хочу рассказать еще про одно довольно-таки простое и красивое решение от Компании mail@Ru, которое я использовал в своем проекте

Сам я пользовался разными парсерами конфига, в последних проектах использовал re2c (конфиг был похож на конфиг nginx). У re2c есть даже немного общего с Конфети — это кодогенерация:
никаких настроечных файлов и структур кодить не надо, все за вас сделает Маг Confetty.

К сожалению, документации ни какой, иначе не было бы этой статьи. Интересующим, милости просим…

Tarantool — это крайне интересная база данных.
Представление о ней можно получить из доклада Константина Осипова Tarantool: как обрабатывать 
1,5 млрд запросов в сутки?

Этой заметкой я хочу обратить внимание на уникальные возможности, которые отличают Tarantool от других подобных решений и делают его полезным инструментом.
Кроме того, я расскажу, чем можно помочь этому открытому проекту и почему это круто :)

В октябре 2011 года в Москве проходила ежегодная конференция разработчиков высоконагруженных проектов HighLoad++.
Решил поделиться с читателями основными тезисами с конференции. Поскольку вся информация открыта и доступна на странице конференции, решил что собрать все тезисы вместе будет не такой уж и плохой затеей. Сразу отмечу, что в отчёте не содержится детальной информации о каждом докладе — затронуты лишь ключевые моменты.
Итак, о чём говорилось на HighLoad++ 2011.

    В статье ниже я попытаюсь кратко рассказать о том, что такое Tarantool и как начать его использовать в уже существующем проекте если вы программируете на Java. Если же вы программируете на другом языке, то вам могут быть интересны некоторые инструменты доступные в коннекторе, такие как возможность редактирование xlog файлов и создание snap файлов из любых данных. Если вы не знаете, что такое Tarantool, то лучше прочитать этот пост.

После многочисленных обсуждений, был создан черновик спецификации на проксирование и автошардинг в Tarantool/Box.
Общая идея такая, что для того, чтобы скрыть наличие шардинга от пользователя, на локальном хосте приложения (PHP/Perl/etc) поднимается прокси, которая уже маршрутизирует запросы на шарды, и умеет найти нужный ключ в случае решардинга.
Сам решардинг производится уже с помощью Lua на самих шардах, при этом прокси переносит наиболее горячие ключи на новые шарды при доступе к ним, что должно снизить нагрузку на систему во время решардинга.

Полностью спецификация лежит на github wiki.

Было бы крайне полезно обсудить спецификацию на предмет потенциальных проблем, неучтённых ситуаций, удобства использования, прежде чем её реализовывать.

Хочу поделиться опытом изучения Tarantool. Про все преимущества и особенности самого Тарантула я писать не буду, на эту тему было много статей (например, эта, эта и эта). Этот пост рассказывает о том, как начать работать с тарантулом и про некоторые особенности и вкусности которые можно получить из коробки.

Есть система с множеством пользователей. Каждый пользователь системы может осуществлять действия по отношению друг к другу. На основании этих действий рассчитывается вес. Необходимо иметь возможность для каждого пользователя получать список остальных пользователей системы, отсортированный в порядке убывания веса. Характеристики весов у бездействующего пользователя меняться не должны.



В своей прошлой статье я описал базовые понятия и средства для начала работы с тарантулом. В этой статье попробую уделить больше внимания использованию хранимых процедур в Тарантуле на примере одной игровой задачи.

В следующую субботу, 19 июля, проведем в офисе Badoo встречу пользователей Tarantool.

СТРАНИЦА МЕРОПРИЯТИЯ НА MEETUP.COM

Константин Осипов (Mail.ru) расскажет о Tarantool 1.6, новой версии сервера, в которой были пересмотрены многие технические решения и сделана удобная, безопасная и по-прежнему высокопроизводительная СУБД.
Tarantool — это, в первую очередь, lock-free база данных, обрабатывающая все транзакции последовательно в одном потоке. Tarantool 1.6 — это и ещё полноценный Lua Application Server с поддержкой кооперативной многозадачности, неблокирующего ввода-вывода, стандартных пакетов Lua и пакетов, созданных специально для Tarantool.

Антон Поваров (Badoo) выступит с докладом«Tarantool в Badoo: хранение истории посещений».
Каждый день на badoo.com пользователи просматривают порядка 100 миллионов профилей других юзеров. Мы храним счетчики и полную историю посещений за последние 90 дней, с некоторой агрегацией — это около 5 миллиардов ивентов.

Привет. Это пост о новой версии Тарантула «от автора». Интернет занятно устроен: если поискать про Тарантул, то найдётся статья от 2011 года, о версии 1.3. И ещё какой-то перфоратор, кажется. На форумах-бордах вообще стоит густой туман. Тарантул «ну это как Редис, только»…

Или ещё, недавно сделал для себя открытие, на Тостере кто-то написал «София — это такое append-only хранилище по типу Тарантула». С такими постами я скоро стану фанатом сайта «сделано у нас», автомата Калашникова и Саяно-Шушенской ГЭС. Правда, мне сложно понять, почему мы восхищаемся западными инструментами, при этом представления не имеем о своих. Итак, Tarantool 1.6. В чём фишка?

Не так давно на Хабре была опубликована статья о NoSQL базе — «Tarantool 1.6 от первого лица». Уверен, в своих кругах эта база данных отлично известна и уже завоёвывает популярность. Уверен так же и в том, что есть те начинающие, руки не дошли, кто хотел бы попробовать Tarantool в действии. Именно для таких желающих я приведу несколько простых примеров, помогающих начать знакомиться с этим интересным продуктом. Как понятно из названия статьи — речь идет о версии Tarantool 1.6.