О чем стоит подумать в понедельник? Например, можно о том, чтобы поучаствовать в холиваре через три дня в четверг! Мы как раз готовимся провести онлайн-вебинар, посвященный решению задач Business Intelligence на базе OpenSource-технологий и проприетарного ПО. Но не просто так ради холивара, а на примере решения нескольких реальных кейсов. В мероприятии будут участвовать два эксперта, каждый из которых — убежденный сторонник своего подхода. Если тема BI вам близка, если любите похоливарить или просто хочется занять вечер четверга чем-то интересным, подключайтесь! Все подробности ивента — под катом.
Администрирование
MSSQL: снова о дефрагментации и SHRINK
Начнем с хороших новостей. Какое то время назад я написал статью Дефрагментация таблиц в высоко нагруженных базах данных (MSSQL). За это время я еще больше отшлифовал скрипт на production, и отдел безопасности фирмы, где я сейчас работаю, разрешил выложить его в open source (репо на github). Приглашаю воспользоваться им и писать мне о багах и пожеланиях.
Ниже я приведу краткий update к статье - кое в чем я теперь с ней не согласен. Кроме того, опишу опыт SHRINK - почему его лучше никогда не делать, почему все-таки иногда нужно делать и как его готовить.
Автоматизация видеонаблюдения
Всем привет! Я работаю не в IT компании системным администратором. В перечень обязанностей входит и администрирование систем видеонаблюдения [мы используем CTV и HiWatch], это обычная ситуация админ должен уметь все и сразу.
Информацией в данной статьей я хочу поделиться в виду того, что потребовалось не мало времени для поиска решения задачи и написания небольшого скрипта. Если у кого будут предложения по иной реализации задач, буду рад ознакомиться.
Создание сервера для онлайн ММО игр на PHP и Unity ч. 11 — FPS, Ping и как с ним бороться (интерполяция и экстраполяция)
В этой серии статей речь пойдет о том что такое PING и какими приемами можно сгладить задержку пересылки пакетов при его низком значении в realtime онлайн играх с примерами кода на C# в игровом движке Unity для игр на ПК, мобильных устройствах и браузерных игр WebGL.
Статья включает в себя видео примеры, демонстрации кода и алгоритм подсчета PING без использований командной строки устройств
Как мы строили систему мониторинга. Тернистый путь к стабильной работе сложных IT-систем
К тому, что описано в статье, мы пришли через череду даунтаймов и багов, которые приходилось править “на горячую”. Происходили сбои во время бета-теста, но все равно тема обеспечения стабильной работы для нас болезненная. За знания пришлось заплатить дорогую цену - неудобства пользователей. Мы сами еще только на полпути к построению той системы обеспечения стабильной работы, какой нам бы хотелось ее видеть. Но надеюсь, наш опыт поможет кому-то не повторять наших ошибок и сразу все сделать правильно.
Статья не имеет цели создать какое-то принципиально новое знание о мониторинге, которого нет у опытного SRE инженера. Но, возможно, будет полезна в качестве отправной точки для изучения технологического стека тем, кто только начинает погружаться в вопрос.
Начнем с того, в каких случаях и какой мониторинг обычно используется.
Миграция с минимальным простоем виртуальных машин KVM между отдельными кластерами Proxmox VE
Некоторое время назад потребовалось решить задачу по переносу виртуальных машин KVM с одного кластера Proxmox VE на другой с минимальным временем простоя. В PVE «из коробки» такой возможности нет, но, как оказалось, онлайн-миграцию виртуальных машин между кластерами можно выполнить средствами KVM. Процедуру переноса я подробно опишу в этом руководстве.
Gravitee.io: добавление кастомных плагинов, используя docker-compose
Привет, Хабр! Сегодня мы разберёмся, как добавлять кастомные плагины в Gravitee.io
Gravitee.io - open source продукт-шлюз с витриной API. Эта статья рассчитана на тех, кто уже знаком с системой. Общая информация о продукте хорошо описана в статье: Что такое системы API Management.
Большинство кейсов по работе с запросами можно сделать, используя уже имеющиеся плагины, но при желании можно писать собственные. Если в этом деле преисполниться, то приходишь к тому, что легче написать собственный плагин, чем разбираться с уже имеющимися. Иногда использование встроенных плагинов весьма сложное искусство, но если вы наткнулись на эту статью, то уже знаете это.
Также написание собственных плагинов добавляет кучу возможностей при работе с Gravitee.
Модификация алгоритма FP Growth или как правильно ухаживать за своими деревьями
Привет, Хабр 🙋♂️
В поисках варианта алгоритма FP Growth, который мог бы удовлетворить моим потребностям, я столкнулся с неожиданным и крайне удивительным обстоятельством - все решения из коробки не предполагали разбиения данных на батчи (относительно небольшие наборы элементов) и последующем обучении на них. Также они не были способны дообучаться на вновь полученных транзакциях да и в целом были заточены на единовременный анализ всей транзакционной базы данных. Меня это смутило - неужели в эпоху обработки больших данных не было подробно описано или хотя бы выложено на всеобщее обозрение ни одной реализации подобного алгоритма. Возможно, я не первый, кто придумал что-то подобное, и в кулуарах научных статей найдутся схожие идеи - что ж, в любом случае это мой личный опыт и я надеюсь в каком-либо приближении он окажется вам полезен или хотя бы интересен.
Зачем разработчику нужен Linux вообще и терминал в частности
Тема "Windows vs Linux" является частой причиной холиваров. Спорить бессмысленно, так как для каждой задачи требуется свой инструмент. Позвольте заинтересовать вас чудесным миром Linux и теми бонусами, которые вы можете получить от использования терминала в повседневной деятельности. Всё разберём на примерах реального использования.
Простым языком о простом NGINX UNIT
В статье рассказывается о новом веб-сервере Nginx Unit. В ней можно узнать подробнее о самом веб-сервере, его установке и настройке: как использовать слушатели, маршрутизацию, как устанавливать сертификаты TLS. Статья покажет насколько работать с ним легко и что огромные конфиги потихоньку уходят в прошлое.
JWT, FSD и сервисный подход. Итоги года глазами команды разработки Учи.ру
Привет, Хабр! Команда Учи.ру традиционно подводит итоги учебного года. Для нас — это сезон не только крупных продуктовых релизов, но и изменений под ИТ-капотом Учи.ру. Сегодня команда поделится, что нового произошло в архитектуре и разработке платформы и что сподвигло их на эти изменения.
Особенности национального моделирования: импортозамещение комплексов реального времени в электроэнергетике
Когда речь заходит о четвертой промышленной революции, всех захватывает мысль об искусственном интеллекте и его применении во многих отраслях, которые только можно представить. Но давайте отойдем от этой темы (ура) и в данной статье рассмотрим технологию индустрии 4.0, которая относительно давно используется в электроэнергетике – имитационное моделирование в режиме жесткого реального времени и цифровые двойники.
Имитационное моделирование и цифровые двойники – технология, которая давно помогает специалистам в области электроэнергетики разрабатывать и тестировать микропроцессорные системы защиты и автоматики.
В данной статье мы хотим поделиться своим опытом модернизации научно-исследовательского киберполигона российскими комплексами моделирования в реальном времени. А также рассказать о сравнительных испытаниях российского оборудования для моделирования с западными лидерами индустрии.
Интеграция с инфраструктурой NB-IoT МТС. Теория и практика. Часть 3
И снова здравствуйте! Мы продолжаем рассказывать о составе и основных принципах работы инфраструктуры NB-IoT в рамках цикла статей «Интеграция с инфраструктурой NB-IoT МТС». Вот первая и вторая части.
Сегодня разговор пойдёт об «М2М-менеджере». Это платформа МТС и связанная с ней услуга, предоставляющая возможность получения объективной и полной статусной, статистической и иной информации о процессе эксплуатации SIM-карт в устройствах и приборах в классических сетях 2G, 3G, LTE и NB-IoT, включая режим non-IP (NIDD).
Суверенное облако: зачем оно необходимо и как его использовать
Суверенное облако — это не новая концепция, но сейчас она стала особенно актуальной из-за меняющегося геополитического ландшафта и новых правил, которые влияют на контроль данных. По сути, суверенное облако представляет собой разумное решение для международной битвы за цифровой суверенитет, но давайте копнем немного глубже.
За стремлением сделать облака суверенными стоит потребность в цифровом суверенитете. На практике все дело в данных: необходимо понимать, где они находятся, куда передаются и кто их контролирует. Эти вопросы имеют решающее значение для современной экономики данных. В контексте этого вопроса облачные сервисы неизбежно оказываются в центре внимания, потому что именно они являются data driven экономики.
Как мы построили управление пользователями в SberJazz: оптимально и гибко
Если ваш сервис или ПО связаны с пользователями, рано или поздно встаёт вопрос авторизации, аутентификации и хранения этих чувствительных данных. Кто-то изобретает велосипед сам, кто-то использует многолетние enterprise-решения, ну а мы решили изучить вопрос и найти наиболее удобный, экономичный и гибкий вариант для своих задач. Расскажем, как мы это делали, какие были трудности и удалось ли их решить.
Сравниваем процессоры Ryzen 9 7950X и Ryzen 9 5950X в тестах
В этой статье мы сравним новый процессор от компании AMD — Ryzen 9 7950X с предыдущим поколением — Ryzen 9 5950X от этого производителя и попытаемся ответить на вопрос «Насколько выгодно перейти к использованию новых процессоров для решения рабочих задач?».
Из SQL в NoSQL: меняем парадигму запросов
Пользовательский опыт напрямую зависит от скорости выполнения запросов к данным. Мы привыкли, что SQL базы данных строят оптимальный план запроса за нас. В случае многих NoSQL баз данных, оптимизация запроса ложится на разработчика. Меня зовут Жора и вместе с @yngvar_antonsson мы провели много времени за аудитом запросов у наших заказчиков. Сегодня мы расскажем про перфоманс, оптимизации и про тяжелые запросы на примере Tarantool. Будет интересно всем, кто уже работает или только собирается работать с Tarantool, а также тем, кто строит кластерные системы поверх своих БД.
Эффект внутреннего JSON
Ему сказали, что он будет работать над веб-сайтами и иметь дело с JavaScript, Node.js, JSON и тому подобным. Звучало вполне логично для веб-разработки; странным был только комментарий нетехнического собеседователя, что всё «построено на основе Subversion»; Джейк решил, что просто чего-то недопонял.
Его поставили на проект, в котором использовался собственный «JSON-based Domain Specific Language» компании, или JDSL. Его начальник посоветовал ему изучить копию проекта, на который его назначили, и дал неделю-две на освоение. «Если возникнут вопросы, просто спрашивай, кого угодно, но, судя по твоему опыту, проблем у тебя возникнуть не должно».
Кластер HA для групп доступности AlwaysON MS SQL Server 2022 Linux при помощи Pacemaker для хранения ИБ 1С
В сети огромное количество мануалов по созданию отказоустойчивых групп доступности AlwaysON Microsoft SQL Server посредством Windows Server Failover Cluster. Но что делать, если экземпляры Microsoft SQL Server развёрнуты на Linux, а очень хочется создать отказоустойчивые группы доступности AlwaysON? В русскоязычном сегменте не нашёл внятных мануалов, посвящённых этому вопросу. Решил написать гайд. Сразу скажу, гайд в некоторых местах будет очень подробный и разжёвыванием банальных вещей может раздражать опытных системных администраторов, однако, как показывает практика, людей которым хотелось бы, чтобы он был ещё подробнее куда больше, чем тех, кому эта подробность не по нраву. Тут мы затронем и вопросы оптимизации производительности, которые актуальны для наверно самого популярного прикладного применения Microsoft SQL Server в России — хранения информационных баз 1С. На самом деле данная задача не особо сложная, но важна к освящению.
Локальные приточные системы с привязкой к фасаду для жилых и офисных зданий
Ранее в нескольких статьях была разобрана теоретическая база для оценки параметров систем вентиляции в отдельных помещениях.
Теперь настала очередь для обзора конкретных технических реализаций подобных локальных вентиляционных систем, особенностью которых является привязанность всех воздуховодов только к внешней уличной стене данного помещения, то есть к фасаду здания.
Как и ранее мы будем рассматривать отдельную квартиру в 2-3 комнаты (40-80м.кв + 4человека) или модуль офисного помещения 6х6 метров (36м.кв + 6 человек).
Для этих двух типов помещений производительность вентиляционных систем будут приблизительно одинаковыми.