Продолжаю ковырять автоматизацию рутины на сети из Huawei коммутаторов. На этот раз изыскания, которые позволили сократить код в 3 раза, а именно: хосты и команды перенесены в отдельные файлы, пароль и имя пользователя больше не хранятся в открытом тексте. Есть демонстрация запуска скрипта. Детальное описание за кнопкой «Читать дальше».
Администрирование
- Новые
- Лучшие
- Все
- ≥0
- ≥10
- ≥25
- ≥50
- ≥100
Как устроены IT-процессы в «Сравни.ру»
Привет, «Хабр»! Меня зовут Дмитрий Парфёнов, я технический директор в «Сравни.ру». Сегодня я расскажу, как в нашей компании выстроены процессы продуктовой разработки, какие метрики мы используем в работе и как происходит онбординг новых сотрудников.
Что такое нулевое доверие?
Доверие к кому-либо или чему-либо внутри защищенной сети должно быть трудно найти. Глобальный переход к облачным средам изменил протоколы онлайн-безопасности. Поэтому сейчас необходима строгая проверка (всех и всего). Модель нулевого доверия не является излишней — теперь это важнейший принцип защиты сети.
В этой статье будет рассмотрена модель нулевого доверия. Как это может помочь защитить вашу сеть? Затем посмотрите, как внедрить эту структуру в вашем бизнесе или агентстве.
Дилемма моделирования в рамках Data Vault/Anchor Modeling: объект или событие
Всем привет :)
Меня зовут Голов Николай, я строю платформу данных на основе Snowflake и Anchor Modeling в ManyChat.
В этой статье я уже подробно рассказывал, как решал аналогичную задачу в Авито, используя Vertica и методологию Anchor Modeling. В комментариях меня спрашивали, с какими сложностями приходится сталкиваться при использовании этой модели, поэтому сегодня я решил поговорить именно о них и заодно поделиться решением, к которому мы пришли.
Лучшие книги по Apache Kafka
«Effective Kafka: A Hands-on Guide to Building Robust and Scalable Event-Driven Applications», «Kafka: The Definitive Guide» и другие издания.
В этой статье я расскажу, как изучал Apache Kafka и с какими трудностями столкнулся. Я очень надеюсь, что мои наблюдения помогут тем, кто ещё только приступает к знакомству с платформой. Здесь мы обсудим полезные ресурсы, в основном, книги, которые я прочитал, и мой опыт с платформой#nbsp;— до чтения книг и после.
9 лучших практик развертывания приложений высокой доступности на платформе OpenShift
OpenShift широко используется в мире в качестве платформы для критически важных корпоративных приложений. От таких приложений ждут, что они будут работать в режиме высокой доступности, выдавая типичные для отрасли «пять девяток» и обеспечивая непрерывное обслуживание конечных пользователей и клиентов. OpenShift предлагает целый ряд технологий развертывания в режиме высокой доступности, помогающих не допускать простоя приложения, даже когда его экземпляры или нижележащая ИТ-инфраструктура деградируют или перезапускаются. Сегодня мы рассмотрим девять лучших практик обеспечения высокой доступности приложений на платформе OpenShift.
Лучшие практики использования SSL и TLS. Часть 1
SSL/TLS — обманчиво простая технология. Его легко развернуть и он просто работает, за исключением случаев, когда это не так. Основная проблема заключается в том, что правильно развернуть шифрование непросто. Чтобы гарантировать работоспособность TLS и обеспечение необходимой безопасности, системным администраторам и разработчикам необходимо прикладывать дополнительные усилия для правильной настройки серверов и разработки приложений.
Этот документ является шагом к решению проблемы нехватки документации в области использования SSL/TLS. Основная задача — предоставить четкие и краткие инструкции, которые помогут администраторам и программистам сэкономить время на развертывание защищенного сайта или веб-приложения. Для сохранения ясности в стороне останутся некоторые сложные схемы и излишние реализации. Внимание уделяется практическим советам, которым легко следовать.
Базовые принципы Availability
О чем статья
В этой статье речь пойдет о БАЗОВЫХ подходах и принципах к такому quality attribute (QA) как Availability. Никаких сложных случаев, ничего слишком сложного, только теория с двумя примерами, скипайте, если искали что-то эдакое.
Вся информация основана на парах книг, статей, и моем опыте. В конце статьи я покажу, какие именно. Также, эта статья - по суть перевод моей же статьи, только написанной на английском.
Что такое Availability?
Перед тем, как рассматривать паттерны и техники для обеспечения availability мы должны определить сам термин.
Боты, работа с логами и обзоры инструментов: что было интересного про Serverless за год
Привет, Хабр! Меня зовут Антон Черноусов, я куратор хаба Serverless. В этом посте я расскажу, что интересного тут было про бессерверные технологии за год. Разложил их по нескольким группам и выстроил от теории к практике: сначала посты про саму технологию, затем про старт работы, про инструменты, про важные особенности, и в конце сделал подборку интересных кейсов.
Под катом 20+ публикаций про Serverless за 2021 год.
Дефицит чипов — явление долгосрочное: США и Китай прогнозируют нехватку компонентов в лучшем случае до конца 2022 года
Мы несколько раз писали о том, что, по всей видимости, дефицит полупроводниковых компонентов затянется надолго. Несмотря на то, что некоторые эксперты дают оптимистичные прогнозы, согласно которым дефицит электронных элементов вскоре решится благодаря усилиям ряда компаний, негативных прогнозов все же больше.
Об этом говорят как сами компании, так и правительства некоторых стран. Относительно недавно мнение о явно нескоротечном дефиците высказали правительства США и Китая. Несмотря на то, что обе страны ведут торговую войну, которая, к слову, является одним из факторов, приведших к дефициту, их мнение в плане нехватки чипов очень похоже. К этому мнению присоединяются и голоса многих крупных компаний — вендоров полупроводниковых компонентов и электронных систем на их основе.
Кибербезопасность для самых маленьких
Добрый день. Данная статья будет очень полезна для тех, кто впервые поднимает свое приложение, которое будет доступно всему этому большому и замечательному Миру и хочет сделать его как можно более безопасным, устойчивым к разным атакам.
Цель статьи - поделиться практиками, которые я применил для защиты данных при поднятии собственного VPS в публичной сети. Всегда, когда твой IP открыт всему Миру напоказ и доступен извне внутренних контуров сети - это означает, что любой прохожий может устроить тебе неприятности: похитить твои данные, завладеть твоим сервером и сломать твое замечательное приложение. Я буду приводить пример атаки, показывать, как ее можно заметить и после этого будем разбирать возможные способы защиты.
Зонтичная система мониторинга Broadcom DX Operations Intelligence — анонс вебинара
Регистрация.
Сетевой экстрим. Как мы откапывали коммутаторы из-под селевых потоков
Так это «пирамида» или нет? Что делать с NFT в 2022 году
Как вы 10 лет назад представляли себе цифровую экономику будущего? Скорее всего, это было очень смело и броско: новомодный блокчейн, децентрализованные финансы, искусственный интеллект и прочий футуризм. На деле новые технологии повернули немного не туда: в 2021 году люди продавали мемы и зарабатывали на хлеб с помощью геймерских видеокарт.
Одним из главных понятий прошлого года, наряду с уже привычными “ковидом” и “локдауном” стал NFT - о нем говорят все. Оцифрованные в блокчейне “права собственности” на картинки или предметы из онлайн-игр продаются и покупаются за десятки миллионов долларов.
Сейчас хорошее время, чтобы поговорить о будущем этого загадочного рынка. Куда он будет двигаться в новом году? Я попробовал выяснить, о чем идет речь: о новой цифровой экономике, или об очередном финансовом “пузыре”. Для этого пообщался и с разработчиками, и с нашими партнерами, игроками криптобизнеса.
Методология внедрения BI: по стопам Anaplan
Привет, Хабр! Сегодня мы будем говорить о лучших практиках внедрения BI, а точнее об интересных лайфхаках, изложенных в методологии компании Anaplan. В этом посте я постарался рассказать, почему важно бронировать время топ-менеджеров, как обеспечить соответствие проекта ожиданиям, почему Agile оказывается полезен и в сфере BI, а также, как сделать систему удобной для конечных пользователей. Если вы имеете опыт реализации BI-проектов или планируете им заняться, давайте вместе обсудим методику внедрения от Anaplan!
Как сделать стрим в Postgres?
На одной конференции мне задали вопрос (спасибо Александру!): как сделать стрим в PostgreSQL? Представьте, что имеется bytea и вы к нему хотите что-то дописать. Люди столкнулись с тем, что на это в PostgreSQL тратится гигантское время и растет WAL-трафик.
Расскажу, что с этим возможно сделать — это будет еще один пример оптимизации TOAST (о чем я недавно писал), на на этот раз — для быстрой записи потока бинарных данных. На самом деле мой коллега, Никита Глухов, за несколько часов сделал расширение, которое «вылечило» проблему, и мы даже успели рассказать про это на сессии блиц-докладов на PGConf.Online 2021.
HALF: целостное автоматическое машинное обучение для ПЛИС
Глубокие нейронные сети (DNN) способны решать сложные задачи в областях, связанных со встроенными системами, таких как обработка изображений и естественного языка. Чтобы эффективно реализовать DNN на конкретной платформе ПЛИС для заданного критерия стоимости, например, энергоэффективности, необходимо учитывать огромное количество параметров проектирования, начиная с топологии и заканчивая конечной аппаратной реализацией. Необходимо учитывать и эффективно исследовать взаимозависимости между различными уровнями проектирования, что делает поиск оптимизированных решений вручную едва ли возможным.
Автоматический, целостный подход к проектированию может значительно улучшить качество реализации DNN на ПЛИС. С этой целью мы представляем метод исследования межслойного пространства проектирования.
Погружение в работу SWAP ОС FreeBSD
Оригинал: https://klarasystems.com/articles/exploring-swap-on-freebsd/
Свободная память = память, потраченная впустую? Как использовать swap наилучшим образом.
Для современных Unix-систем, таких как FreeBSD, термин “swapping” (подкачка памяти) означает операции по выгрузке данных из памяти на диск (устройство подкачки) и обратно, осуществляемые по требованию.
Процесс вывода происходит в ответ на отсутствие свободной памяти в системе: ядро пытается вычислить страницы памяти, к которым возможно не будет производиться доступ в ближайшем будущем, и копирует их данные на диск, чтобы сохранить до востребования.
Процесс выгрузки данных запускается при нехватке свободной памяти в системе: ядро системы вычисляет страницы памяти, которые скорее всего не будут нужны в ближайшем будущем, и копирует их содержимое на диск, на котором данные хранятся до востребования.
Если приложение пытается получить доступ к данным, выгруженным на устройство подкачки, этот процесс блокируется до тех пор, пока ядро системы не извлечет необходимые данные с диска. После этого, работа приложения возобновляется в обычном режиме.
Описанная технология выглядит весьма рациональной. Объем памяти дисков обычно больше объема RAM, так почему бы не использовать их для кэширования редко используемых страниц памяти? Однако, для многих опытных администраторов процесс подкачки памяти до сих пор воспринимается как некорректное поведение системы. И этому есть объяснение: до недавнего времени диски, используемые для подкачки памяти, имели задержки доступа в миллионы раз выше, чем у RAM.
Keylime — ключ от облака
Если ваша организация управляет сотнями или тысячами (а может сотнями тысяч) серверов, как убедиться, что они не взломаны? Вы можете использовать традиционную программную систему обнаружения вторжений (Intrusion Detection System, IDS), но она по-прежнему уязвима для сложных программных атак. Что вам действительно нужно, так это создать аппаратный корень доверия, который можно использовать для проверки самых первых шагов процесса загрузки и распространения этого доверия вверх на каждый уровень вашей системы. Аппаратный модуль Trusted Platform Module (TPM) обеспечивает такую опору для настоящего решения удаленной аттестации.
Keylime, проект песочницы Cloud Native Computing Foundation, предоставляет масштабируемое решение для аттестации измеряемой загрузки, используя TPM и Linux архитектуру измерения целостности (Integrity Measurement Architecture, IMA), чтобы предоставить платформу удаленной аттестации, безопасную доставку полезной нагрузки и структуру отзыва, и дать вам полный контроль над политикой аттестации и устранением атак.
Как быстро писать в Apache Ignite
Что такое квадриллион? Это единица с 15-ю нулями, численность популяции муравьев на планете или 100 световых лет в километрах. А еще это объем торгов в рублях на Московской бирже за 2021 год.
Чтобы достичь такого результата, компания должна быть очень технологичной, очень надежной и очень быстрой. Поэтому более 50% штата Биржи – айтишники, работающие с передовым набором технологий, уровень надежности наших ИТ-систем стабильно составляет 99,99%, а еще мы постоянно разгоняем наши системы и процессы. Об одном из примеров такого ускорения рассказывает Григорий Доможиров, разработчик сервиса Data Grid.
– В компании есть куча систем-источников данных с одной стороны и систем-потребителей этих данных с другой. Я разрабатываю сервис, в котором эти данные сохраняются, предоставляя потребителям универсальный интерфейс доступа. Входящих данных генерируется много и происходит это быстро, а мы сохраняем их на скорости свыше 500 тысяч записей в секунду на пике.
Каким должно быть хранилище, чтобы выдерживать такие скорости? Во-первых In-memory, чтобы не тормозить о диск, во-вторых, – распределённым, чтобы распараллеливать запись. Такой класс решений называется In-Memory Data Grid, и яркий его представитель — Apache Ignite. Но просто установить его мало – чтобы добиться от него максимальной производительности, нужно правильно его «приготовить». И сейчас я расскажу, как.