Netflix ушел, а технологии остались. Поэтому мы решили перевести оригинальную статью за авторством Meenakshi Jindal о том, как стриминговый сервис обрабатывает данные с помощью Apache Kafka.
PostgreSQL Antipatterns: Индиана Джонс и максимальное значение ключа, или В поисках «последних» записей
Сегодняшняя задача вполне традиционна для любых учетных систем - поиск записей, содержащих максимальное значение по каждому из ключей. Что-то вроде "покажи мне последний заказ по каждому из клиентов", если переводить в прикладную область.
Кажется, что тут и споткнуться-то негде в реализации - но все оказывается совсем не тривиально.
Компания «ДОК» испытала мультигигабитную систему связи «поезд-земля» 70-80 ГГц на электропоезде «Ласточка»
"Лети Ласточка, лети"! Российская компания «ДОК» сообщила об успешных испытаниях радиолинков мм-диапазона волн PPC-10G-Rail на экспериментальном кольце АО «ВНИИЖТ». Скорость передачи данных в каждом из двух каналов связи на частоте 70-80 ГГц составила стабильные 2.8 Гбит/c (агрегированная 5.6 Гбит/c).
Как создать сервис по ремонту оргтехники
В этой статье расскажу о том, как мы создавали сервисный отдел по ремонту оргтехники.
Абсолютно бесплатный VPN с бесплатного VPS
Думаю про VPN слышали все, и многим приходилось им пользоваться. При этом использование готового VPN, которым руководит какой - то неизвестный человек, не является хорошей идей. Тем более в России на данный момент пытаются блокировать, как сами VPN провайдеры (Windscribe, Proton и другие известные сервисы), так и сами протоколы.
Кен Томпсон: живая легенда
Людей, внесших значительный вклад в развитие мировой IT-индустрии и вошедших благодаря этому в историю, можно пересчитать по пальцам. Один из них — Кеннет Лейн Томпсон, один из разработчиков Unix, операционных систем Plan 9 и Inferno, создатель языка программирования B, соавтор языка Go. Томпсон принимал участие в конструировании шахматного компьютера Belle, первой машины, достигшей уровня игры мастера с рейтингом USCF 2250. Она пять раз выигрывала чемпионат Северной Америки по компьютерным шахматам ACM и чемпионат мира по компьютерным шахматам 1980 года. В 1983 году Томпсон разделил со своим давним другом и коллегой Деннисом Ритчи премию Тьюринга, неофициально признанную «нобелевкой» в мире компьютерных наук.
Хозяйке на заметку: разбираемся с конфигурационными файлами Linux
Понимая, как работают конфигурационные файлы, вы можете существенно повысить уровень владения Linux. В статье рассказываем, как конфигурационные файлы управляют пользовательскими разрешениями, системными приложениями, демонами и другими административными задачами в многопользовательской среде.
Obsidian + Dataview: Таблицы
На статью меня вдохновил этот комментарий .
Dataview - это мощный плагин для Obsidian позволяющий отбирать данные (теги, даты, числа и любые другие пользовательские параметры) markdown-заметок, а затем их фильтровать и отбирать как пожелаешь.
Это такой своеобразный аналог Notion-таблиц, где можно создать таблицу с бесконечной вложенностью (таблица, внутри одной ячейки, а внутри еще таблица и еще и еще).
На КДПВ как раз собраны четыре кейса реализации функционала плагина Dataview.
Как всё это работает
1. Dataview работает на встроенном языке запросов
2. Все запросы должны писаться внутри подобного блока кода:
Подключение DRAC/I сервера Dell PowerEdge 2850 с современного компьютера
Столкнулся с проблемой подключения старого сервера Dell PowerEdge 2850 через Dell Remote Access Controller 4/I. Если у вас на сервере опционально установлен контроллер удаленного доступа то этот туториал для вас.
Для того, чтобы подключиться через DRAC, нам необходимо внести настройки в контроллере удаленного доступа. Для этого перезапускаем сервер и ждем, пока не появится предложение ко входу в контроллер DRAC.
Знакомство с Fugue — уменьшаем шероховатости при работе с PySpark
Автор оригинальной статьи: Kevin Kho
Повышение производительности разработчиков и снижение затрат на проекты Big Data
Резервное копирование и восстановление СУБД PostgreSQL
Резервное копирование является одной из основных задач администрирования баз данных. Отсутствие бэкапа может привести к катастрофическим последствиям при эксплуатации базы данных. Однако недостаточно только настроить регулярное создание резервных копий, необходимо также регулярно проверять созданные копии на способность к восстановлению БД. В этой статье мы поговорим от том, как правильно настраивать резервное копирование в БД PostgreSQL.
Hydrosphere — управляем ML как сервисом
Подобно тому, как в мире разработки многокомпонентных систем применяются подходы для управления и мониторинга микросервисами на основе инструментов DevOps (для запуска и восстановления сервисов, передачи данных, наблюдения за распределенными операциями, выполнение замеров и получение операционных метрик), так же и для моделей машинного обучения становится важным обеспечить возможность их развертывания, обновления и наблюдения за метриками (точность модели, время выполнения прямого прохождения нейронной сети и другими). В обобщенном виде такие решения получили названия MLOps и в этой статье мы рассмотрим возможности платформы Hydrosphere 3.0.
Жарим TOAST в PostgreSQL
У нас не подгорит!
Как PostgreSQL хранит большие значения столбцов? Какие явные и неявные ограничения есть у существующего механизма хранения? Что за проблемы вызваны этими ограничениями? И как можно решить эти проблемы, и расширить возможности PostgreSQL? Об этом, и чуть больше - данная статья.
Прокси хранилища 1С (IIS, OneScript)
В этом посте мы поговорим о том, как избавиться от версионной зависимости, проверять комментарии, вызывать веб-хуки и делать красивые пути. И все это на привычном IIS и понятном OneScript.
Для чего, зачем и почему
Во всех командах разработки рано или поздно возникает потребность привязки изменений кода к номерам задач. В итоге команды приходят к решению в виде комментариев в хранилище 1С. Но часто ли разработчики соблюдают это правило? Также может срабатывать человеческий фактор: можно ошибиться буквой, цифрой, задачей, ее статусом, исполнителем, системой, местом работы. Приходится перевыкладывать хранилище через gitsync, переделывать связи, тратить лишнее время и силы.
А ещё хочется в работу добавить эстетики. Например, при подключении к хранилищу через HTTP — почему бы не убрать уродливые *.1ccr и не сделать красивый адрес хранилища?
При подключении через tcp на разных версиях 1С надоело угадывать, на каком порту какая версия находится.
Плюс есть, например, у меня потребность начать синхронизацию с git-репозиторием по факту помещения очередной версии в хранилище. Прилепим вызов синхронизации? Запросто!
Появилась еще одна возможность встроиться в механизм транспорта между конфигуратором и хранилищем 1С, а по пути проверять комментарии, вызывать сторонние сервисы и делать прочие полезности. И все это на знакомом нам, одинэсникам, языке программирования и веб-сервере.
Истории
Ограничиваем число процессов в pod’е Kubernetes
Если мы говорим о безопасности в Kubernetes, первым делом нужно защитить ключевые компоненты кластера (pod’ы) от внешнего воздействия и ограничить риски внутри самих pod’ов. Чем меньше процессов в pod’е, тем меньше уязвимостей в кластере.
В этой статье мы обсудим, почему рискованно сохранять в pod’е параметры количества процессов по умолчанию, и как решить проблему.
Squid против 3proxy: чем обусловлен выбор прокси-сервера в Traffic Inspector Next Generation
В качестве прокси-сервера в архитектуре сетевых шлюзов различных производителей часто используется 3proxy. Этот выбор обусловлен, прежде всего, тем, что 3proxy — бесплатен, имеет открытый исходный код, компактные размеры и может работать под управлением множества ОС. Однако для универсального шлюза безопасности Traffic Inspector Next Generation (TING) мы выбрали другое решение: доработанный и модифицированный Squid. В этой статье мы расскажем о том, почему мы остановили свой выбор именно на этом продукте, а также поговорим о внесенных в него изменениях, добавляющих в реализованный на базе TING прокси-сервер новые возможности.
5 новых причин роста запросов на DR и 3 кейса клиентов из серии “откуда не ждали”
Привет, Хабр. Сегодня мы поговорим о том, почему растет спрос на аварийное восстановление, а также разберем несколько примеров, когда компании сталкиваются с рисками или реальными сбоями инфраструктуры там, где раньше это было невозможно. Всех желающих обсудить предпосылки к расширению DR, а также методы защиты данных в разных ситуациях, приглашаю под кат.
Polars: библиотека для работы с данными, написанная на RUST
Настоящий хреновый программист всегда находится на гребне волны новых технологий. Зачем ему это? Чтобы при случае можно было повыделоваться багажом своих знаний, и заработать немного очков уважения в окружении своих менее осведомлённых коллег. Stay toxic, brothers. Я с вами.
Когда-то давно мне нужно было обработать чуть больше тысячи жирнейших excel-таблиц и сделать это нужно было быстро. Буквально за час я вкатился в Python и Pandas, а за второй час выполнил все необходимые манипуляции. Так я и познакомился с этими двумя. С тех самых пор приходилось выполнять самые разные задачи по анализу данных и всё бы ничего, но хотелось бы, чтобы Pandas работал побыстрее. Оказывается хотелось не одному мне, а целой команде разработчиков, на Rust.
Как и полагается, всё что на Rust то Blazingly-Fast, и Polars не стала исключением. За счёт чего Polars быстрее Pandas? Что это за библиотека и стоит ли на неё переходить? Давайте попробуем разобраться в этой статье.
Настройка LDAP-аутентификации в кластере Kubernetes под управлением Deckhouse
Deckhouse — Kubernetes-платформа с открытым кодом, с помощью которой можно создавать идентичные Kubernetes-кластеры в любой инфраструктуре и автоматически управлять ими. Для проверки подлинности в Deckhouse используется модуль user-authn. Он настраивает единую систему аутентификации, интегрированную с Kubernetes и веб-интерфейсами других модулей — например, с Grafana.
user-authn поддерживает несколько внешних провайдеров и протоколов аутентификации: GitHub, GitLab, Bitbucket Cloud, Crowd, LDAP и OIDC. В статье расскажу, как развернуть сервер LDAP и настроить через него доступ к приложению.
Слезаем с облачной иглы Aqara и подключаем устройства к контроллеру Wiren Board
В первой статье «Облачный умный дом: что нужно знать, чтобы избежать проблем» я рассмотрел преимущества и недостатки облачных решений, а также проблемы, с которыми за последние месяцы пришлось столкнуться пользователям разных облаков. Но довольно теории, переходим к практике.
Я купил несколько устройств Aqara, которые помогут мне сделать несколько типичных сценариев умного дома. Сперва я подключу устройства к родному облаку Aqara: проверю удобство, создание сценариев и работу без интернета.
Затем я откажусь от облака Aqara и перейду на локальное решение Wiren Board 7 с модулем расширенияSprut.stick ZigBee WBE2R-R-ZIGBEE-SH, оболочкой Sprut.hub и Алисой. Сравню результат и процесс с родным облаком.