Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга

Как мы создали Pingora, прокси-сервер, связывающий Cloudflare с Интернетом

Системное администрирование *Программирование *Nginx *Тестирование веб-сервисов *
Из песочницы
Перевод

Сегодня мы хотим рассказать о Pingora, новом HTTP-прокси, который мы создали своими силами с использованием Rust и который обслуживает более 1 триллиона запросов в день, повышает нашу производительность и предоставляет множество новых возможностей для клиентов Cloudflare, требуя при этом лишь треть ресурсов процессора и памяти от объема ресурсов нашей предыдущей инфраструктуры прокси.

По мере роста Cloudflare мы переросли NGINX. Он был прекрасен в течение многих лет, но со временем его ограничения в наших масштабах привели к тому, что нам захотелось создать что-то новое. Мы больше не могли обеспечивать необходимую производительность, и NGINX не обладал функциями, необходимыми для нашей очень сложной среды

Читаем дальше!
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 360
Комментарии 3

Новости

Что Должно Быть в Каждом FirmWare Pепозитории

C *Разработка робототехники *Программирование микроконтроллеров *DevOps *Производство и разработка электроники *
Tutorial

В этом тексте я предлагаю порассуждать, что же должно быть в нормальном взрослом firmware репозитории безотносительно к конкретному проекту.

То есть перечислить самые универсальные и переносимые программные компоненты (кирпичики), которые могут пригодиться в практически любой сборке.

Читать далее
Всего голосов 9: ↑7 и ↓2 +5
Просмотры 1.1K
Комментарии 5

На грани между ИТ и ИБ: противоборство или союз специалистов?

Блог компании Southbridge Информационная безопасность *IT-инфраструктура *

В среде разработчиков бытует мнение, что информационная безопасность относится к IT не напрямую, а косвенно, что это вспомогательная область и даже вторичная. Но так ли это на самом деле? На этот неоднозначный вопрос серьезно и обстоятельно ответили спикер Слёрма Роман Панин и его коллега Павел Шатилов, руководители направления архитектуры ИБ в МТС.

Читать дальше
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 647
Комментарии 2

Мобильные операторы и люди: война и мир

Блог компании Timeweb Cloud Стандарты связи *Сотовая связь

1. Им друг без друга нельзя



В комментариях к статье про мобильных операторов много кто просил сделать продолжение и рассказать, как простой народ с “Большой Четверкой” взаимодействует. Что ж, рассказать там действительно есть чего, потому как людей у нас в стране много, все они разные, и на появление в зоне видимости подозрительных антенн все тоже реагируют… по-разному.

image
Читать дальше →
Всего голосов 47: ↑42 и ↓5 +37
Просмотры 5.2K
Комментарии 39

YubiKey головного мозга. Как подружить Ubuntu 22.04.1 LTS c аппаратным ключом безопасности?

Настройка Linux *Информационная безопасность *
Из песочницы

Итак вы решили переехать на новенькую свежую убунту и у вас на столе лежит Юбик 5ой серии без которого вы не можете жить в современном мире.

И как у любого нормального технаря перед Вами сразу встают ровным строем несколько вопросов...

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Просмотры 3.4K
Комментарии 7

Размер имеет значение! Часть 2

Git *Оболочки *Разработка под Android *GitHub *DevOps *
Tutorial

Как бы мы себя не обманывали - Размер имеет значение! И конечно, мы будем говорить о размере нашего андроид приложения, куда мы добавляем кучу классных features, и даже не задумываемся как это может негативно повлиять на размер приложения. Поэтому мы научимся обнаруживать регрессию размера нашего приложения на CI для автоматизации этого процесса.

В данной части, обсудим как можно проверять размер в pull request, что позволит автоматизировать весь процесс обнаружения регрессии, до того как изменения попали в development.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 1.7K
Комментарии 0

ITить-КОЛОТИТЬ, серии 14-15

Блог компании Cloud4Y Информационная безопасность *Системное администрирование *Управление персоналом *IT-компании

Привет! Мы продолжаем выкладывать новые выпуски нашего сериала про айтишников. Как он появился и как снимался второй сезон нашего мини-сериала, рассказывали ранее.

Читать далее
Всего голосов 6: ↑3 и ↓3 0
Просмотры 1.2K
Комментарии 3

Пособие по программированию модулей ядра Linux. Ч.7

Блог компании RUVDS.com Настройка Linux **nix *Разработка под Linux *
Перевод

Заключительная часть последней версии руководства по созданию модулей ядра от 02 июля 2022 года. Здесь мы рассмотрим обработку прерываний, криптографию, стандартизацию интерфейсов с помощью модели устройства, а также разберём принцип работы драйвера виртуального устройства ввода и возможность внесения в модуль некоторой оптимизации. В завершение же я укажу на пару неявных, но важных нюансов, а также дам рекомендации по дальнейшему погружению в тему программирования ядра.
Читать дальше →
Всего голосов 28: ↑27 и ↓1 +26
Просмотры 2.1K
Комментарии 0

Simics: Забиваем гвозди сваебоем

Блог компании Auriga Assembler *Системное программирование *Виртуализация *Отладка *
Tutorial

Любите ли вы отзывчивые программы так, как люблю их я? Любовь эта привела меня к Колибри ОС - невероятно шустрой операционной системе, которая запускает программу до того, как вы осознаете, что кликнули по ней. И недавно у неё нашли уязвимость: ping of death.

Так получилось, что моя первая работа была связана с симуляцией компьютерных систем – от серверов до мобильных устройств. И там мы использовали симулятор Simics. Этой системой пользуются крупные производители железа для опережающей разработки драйверов.

Если бы только можно было использовать Simics для отладки любительской ОС...

Читать далее
Всего голосов 19: ↑19 и ↓0 +19
Просмотры 1.6K
Комментарии 2

PowerShell: проверка совмещения имен БЭМ-сущностей на одном HTML-узле

Разработка веб-сайтов *Программирование *PowerShell *Регулярные выражения *
Tutorial

При написании HTML-страницы по методологии БЭМ («Блок, Элемент, Модификатор») БЭМ-сущности привязываются к узлам HTML-дерева. В предыдущих статьях я рассматривал, как можно выполнить в скрипте на языке PowerShell проверку правильности написания названий БЭМ-сущностей по отдельности с помощью регулярных выражений.

В этой статье рассмотрено, какие есть правила для совмещения нескольких имен БЭМ-сущностей на одном узле HTML-дерева и как соблюдение этих правил можно проверить в скрипте на языке PowerShell. Приведены иллюстрации фрагментов результатов работы скрипта в разных случаях, при обнаружении разных ошибок.

Читать далее
Рейтинг 0
Просмотры 351
Комментарии 0

Немного хардкора: как поднять Kubernetes на двух старых ноутбуках с Gentoo

Блог компании Флант Системное администрирование *DevOps *Kubernetes *
Tutorial

Хочу рассказать об интересном эксперименте, суть которого заключалась в развертывании и настройке Kubernetes на двух старых ноутбуках — один из них, кроме того, был с процессором на архитектуре i386. В качестве теоретической основы использовалось руководство Kubernetes The Hard Way, которое по ходу дела пришлось немного доработать, а в качестве системы на хостах — Gentoo (да, вам не показалось). Давайте погрузимся в этот увлекательный хардкор!

Читать далее
Всего голосов 32: ↑32 и ↓0 +32
Просмотры 4K
Комментарии 7

Это база. Сетевая модель OSI. Истоки

Блог компании Serverspace IT-инфраструктура *Сетевые технологии *История IT IT-компании

Ни один курс по сетевым технологиям не обходится без модели Open Systems Interconnection или попросту OSI. Как говорится, «это баааза», на принципах которой создавались другие современные модели. Хотя сегодня она не особо применяется на практике, это не значит, что сетевым специалистам не нужно понимать ее принципы. 

История модели OSI задокументирована не полностью, но нам известны имена людей и названия организаций, вовлеченных в ее создание. Поэтому в этой статье были собраны известные факты об OSI на основе материалов из Интернета, например, онлайн-книги Джеймса Пелки «History And Development Of The Osi Model» и данных из интервью 1 и интервью 2 с Чарльзом Бакманом. Также на Habr я наткнулась на перевод статьи «OSI: Интернет, которого не было», где представлена история о моделях OSI и TCP/IP. Однако я решила самостоятельно изучить истоки OSI и больше углубится в этот период. Если вам интересно понять, что же тогда происходило, то приступим.

Читать далее
Всего голосов 11: ↑10 и ↓1 +9
Просмотры 4.9K
Комментарии 6

Управление учетными записями в Linux. Часть 1. Хранение учетных данных

Блог компании OTUS Настройка Linux **nix *

С момента своего создания ОС семейства Linux являются многопользовательскими, и для идентификации пользователей в них используются учетные записи и определенные модели доступа.

Неверная настройка прав доступа может привести к серьезным уязвимостям в безопасности операционной системы. Причем, в отличии от уязвимостей в программном обеспечении, допущенных программистами при написании кода, уязвимости настройки выявить бывает довольно сложно. Сканеры уязвимостей неплохо обнаруживают уязвимости приложений, но очень плохо справляются с ошибками в настройках безопасности приложений и операционных систем.

В этой статье я предлагаю рассмотреть хранение учетных данных в ОС Линукс. Затем, во второй статье поговорим о том, какие типовые ошибки допускают при настройке учеток и как правильно их выполнять. А в третьей мы поговорим к чему могут привести ошибки в настройке прав, и прежде всего о различных способах поднятия привилегий.

Конечно, по теме управления учетками в Линукс написано не мало книг и статей, однако статистика инцидентов ИБ показывает, что напомнить о правильных практиках администрирования будет совсем не лишним.

Читать далее
Всего голосов 10: ↑8 и ↓2 +6
Просмотры 3.7K
Комментарии 3

Совместное моделирование быстродействующих систем средствами TIA Portal и Simulink

Высокая производительность *Анализ и проектирование систем *Интерфейсы *Matlab *Инженерные системы *

В этой работе показана детальная авторская реализация объединения сред TIA Portal и Simulink для совместного моделирования с обменом данными, работающая при любом, даже самом малом, шаге квантования (моделирования). Этот вариант позволяет также тестировать PLC контроллеры TIA Portal на частотах квантования контроллеров. Синхронизация сред осуществляется без применения таймеров реального времени. Приведен пример построения быстродействующего контура, обеспечивающего управление аналоговым неустойчивым объектом Simulink виртуальным ПЛК среды TIA Portal. Экспериментально определено, что предлагаемое объединение сред не влияет на результаты моделирования.

Состояние проблемы

Интегрированная среда разработки систем автоматизации TIA Portal содержит инструментальные средства для конфигурирования, настройки, тестирования и обслуживания систем. Мощная среда MATLAB/Simulink обеспечивает эффективное моделирование и оптимизацию сложных динамических систем. Совместное моделирование TIA Portal и Simulink повышает качество проектирования систем автоматизации и управления и сокращает сроки проектирования.

Известны примеры связи сред TIA Portal – Simulink через OPC сервер, в которых среды обмениваются пакетами данных с максимальной частотой 10 раз с секунду [1,2,3]. Это ограничение определяет максимальную частоту квантования. Для моделирования и работы быстродействующих систем, которые характеризуются широкой полосой пропускания, требуется высокая частота квантования.

Скорость непосредственной передачи/приема данных через TCP канал в десятки раз выше скорости передачи через OPC сервер. Однако, для TCP связи с контроллерами TIA Portal, которые выступают в роли TCP клиента, необходимо, чтобы модель Simulink работала в режиме сервера, а таких библиотечных средств у Simulink нет.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 602
Комментарии 3

Как бизнесу выбрать базу данных под свой проект

Хранение данных *Хранилища данных *
Из песочницы

Бизнес любого направления деятельности сопровождается сбором, обработкой и анализом большого объема информации. Он начинается с интернет-продаж, где необходимо повышение конверсии, и платежных сервисов с обработкой транзакций и заканчивается крупными производственными концернами, где прогнозируется простой техники, загруженность маршрутов транспорта и выполняется масса других задач, деятельность связана с хранением и структурированием профильных данных.

Создание базы данных для предприятия – ключевая задача уже на начальном этапе работы. По мере развития бизнеса количество задач, связанных с обработкой информации, возрастает. Если фирма планирует создать надежную, стабильно работающую IT-инфраструктуру, удовлетворяющую все профильные потребности, приходится выбирать один из двух способов решения задачи:

Читать далее
Всего голосов 6: ↑0 и ↓6 -6
Просмотры 2.3K
Комментарии 7

Цифровой манифест

Децентрализованные сети *Социальные сети и сообщества Научная фантастика Криптовалюты Будущее здесь

Целью цифрового манифеста является описание цифровых инструментов управления таким государством, в котором народ, являясь единственным источником власти, никогда не отделяет эту власть от себя, а лишь делегирует избранным представителям функции по управлению государством и лишь на то время, которое разрешают граждане. В режиме реального времени, используя системы связи, граждане выказывают свою поддержку или недоверие представителям власти, где недоверие влечет немедленное отстранение.

Это позволяет избежать узурпации власти небольшими группами людей и не дает совершать переходы от демократии к тоталитаризму и другим разрушительным формам управления.

Для достижения этой цели предлагается новая форма управления государством - цифровая демократия или цифровизм.

Читать далее
Всего голосов 12: ↑8 и ↓4 +4
Просмотры 2K
Комментарии 35

Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных

Блог компании Туту.ру Администрирование баз данных *Big Data *Хранение данных *


Данные из боевых баз в нашей архитектуре асинхронно попадают в аналитическое хранилище (Clickhouse), где уже аналитики создают дашборды для продуктовых команд и делают выборки. Базы здоровые и под ощутимой нагрузкой: мы в день отправляем флот самолётов средней авиакомпании, несколько поездов и кучу автобусов. Поэтому взаимодействий с продуктом много.

ETL-процесс (извлечение данных, трансформация и загрузка в хранилище) часто подразумевает сложную логику переноса данных, и изначально нет уверенности в том, что данные доставляются без потерь и ошибок. Мы используем Kafka как шину данных, промежуточные сервисы на Benthos для трансформации записей и отправки в Clickhouse. На этапе создания пайплайна нужно было убедиться в отсутствии потерь с нашей стороны и корректной логике записи в шину данных.

Проверять вручную расхождения каждый раз не хотелось, кроме того мы нуждались в сервисе, который умел бы сверять новые данные по расписанию и показывать наглядно, где и какие имеются расхождения. Поэтому мы сделали сервис сверок, о котором я и расскажу, потому что готовых решений не нашёл.
Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 1.4K
Комментарии 19

Как мы строим свою платформу для аналитиков

Блог компании Точка Big Data *Data Engineering *

Привет, с вами снова Галина Вакулина, и в этой статье я расскажу, как мы строим платформу для аналитиков и избавляем их от ненужной работы.

Цель нашей команды — сделать так, чтобы в Точке работать с данными было удобно и быстро. Чем меньше времени аналитик тратит на рутину, тем больше времени у него остаётся на исследования, придумывание новых метрик, построение дашбордов, проверку гипотез и просто захватывающее копание в данных.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 768
Комментарии 1

Развертываем облачное хранилище NextCloud AIO на Windows в Docker для дома

Системное администрирование *Nginx *Apache *Хранилища данных *Облачные сервисы *
Tutorial

Пробуем поставить Opensource облачное хранилище NextCloud для повседневного пользования на домашний компьютер с ОС Windows. Подробный гайд.

В этой статье:
Анализ целесообразности развертывания облака дома. Поэтапная настройка. Проблемы и технические решения. Плюсы и минусы NextCloud. Запуск NextCloud в Docker. Подробный разбор параметров контейнера NextCloud AIO. VPN-тоннель домой с использованием сервиса Hamachi. Обход проблемы отсутствия белого ip. Настройка reverse-proxy на базе Nginx, Apache или Caddy. Запуск HTTPS-сервера на домашнем компьютере. Получение SSL-сертификата с помощью сервиса letsencrypt. Краткий разбор форматов SSL-сертификатов. Настройка файервола в Windows.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 2.4K
Комментарии 5

Как полюбить задачи регрессии

Data Mining *Алгоритмы *Машинное обучение *Data Engineering *

У задач классификации, в отличии от задач регрессии, есть одно очень приятное свойство:
большинство ML алгоритмов решения задач классификации выдают не просто ответ, а некоторую оценку уверенности модели в ответе. То есть помимо метрик самой модели мы обладаем оценкой вероятности для конкретного ответа на конкретном примере. Это здорово помогает в принятии решений.
Неправда ли хотелось бы иметь что-то такое и для задач регресии?

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 1.5K
Комментарии 1