Администрирование
- Новые
- Лучшие
- Все
- ≥0
- ≥10
- ≥25
- ≥50
- ≥100
[Окончание] Новогодний детектив: странный хайзенбаг в «питоньих» часах
Здесь лежит окончание "расследования" Новогодний детектив: странный хайзенбаг в «питоньих» часах.
Изначально хотел просто обновить статью и написать соответствующий комментарий, но понял что апдейт выходит чуть не длиннее самой статьи.
Напомню краткое содержание предыдущей части: python, как впрочем и всё на нем написанное, временами прыгает в будущее, а конкретно в 2023-й год в локальной временной зоне, и по некоторым данным в 2024-й в UTC/GMT (но это не точно) и побыв там некоторое время возвращается обратно в настоящее.
Во время прыжка оно ведет себя довольно стабильно (т.е. считает нано-, микро- и миллисекунды, а то и секунды, как будто время идет как ни в чём не бывало) в 2023-м т.е. локально, при том что в результате повторных прыжков время вновь продолжается как будто по возвращению оно (время) течет в какой-то параллельной вселенной. Однако странное его "отражение" в UTC/GMT, ну то что как будто бы в 2024-м, выглядит менее стабильно, ибо для него наблюдается странные дрейфы дополнительно к смещению прыжка.
Хотя куда уж страннее.
Gitlab CI «Smart» Pipeline: родители и дети
За более 3х летний срок существования продукта у нас собралось более чем 20 репозиториев со spark проектами. Процесс CICD был реализован на Jenkins. С определенного момента у GitLab CI появилась возможность создавать собственные CICD. Но долгое время я совершенно не воспринимал всерьез этот инструмент. Так как мне нравилось, что в Jenkins можно взять и дописать то чего тебе не хватает на Groovy. Настройка WebUI предоставляет широкие возможности для организации параметризованных сборок. Поначалу функционал GitlabCI я воспринимал это как жалкое подобие Jenkins: чтобы реализовать ну что-то очень очевидное и простое, я уже молчу про параметризованную сборку.
Но прошло время и мне показали как возможно шарить между проектами джобы, чтобы реализация под конкретный проект выглядела с наименьшим количеством кода.
Для примера у вас где-то в отдельном репозитории лежат yml, которые выполняют что-то вполне определенное, которое у вас может повторяться не только в одном проекте.
Следует ли вам обновить параметры Route Flap Damping?
Route Flap Damping (RFD) — это механизм локального подавления оттока обновлений BGP в Интернете. Стандартные параметры конфигурации RFD в маршрутизаторах слишком строгие и вызывают нежелательное блокирование изменений префикса, что приводит к проблемам с доступностью. Исследование 2010 года, посвященное IPv4 (и только одному производителю маршрутизаторов, Cisco), определило набор параметров конфигурации, позволяющих избежать этих проблем.
В этой заметке представлены результаты исследования 2021 года, проведенного мной и моими коллегами из Freie Universität Berlin, IIJ/Arrcus, Université de Strasbourg и HAW Hamburg, целью которого было воспроизвести и расширить результаты аналогичного исследования 2010 года, но на этот раз с учетом IPv6 и еще одного производителя маршрутизаторов (Juniper).
Отслеживание жизненного цикла учетных записей Active Directory — анонс вебинара
Жизненный цикл пользователя — это создание (provisioning), управление (managing) и отключение (de-provisioning) пользователя. На каждом из этих этапов пользователю присваиваются или отключаются специфические атрибуты: членство в группах, почтовый ящик, доступ к файловому хранилищу и т.д.
Приглашаем на вебинар, на котором познакомим вас с решением Quest Enterprise Reporter. Это инструмент управления жизненным циклом пользователей и формирования отчётов безопасности для окружения Microsoft: Active Directory/Azure AD, Exchange/Exchange Online, Office 365, Windows Servers, OneDrive for Business, SQL Server, инфраструктура Azure (ВМ, диски, группы сетевой безопасности и остальное). Enterprise Reporter включает несколько сотен предустановленных отчётов для перечисленной инфраструктуры, позволяет выполнять управляющие действия над правами доступа (добавить пользователя в группу, отменить доступ к директории и т.п.) прямым переходом из отчёта и формирования собственных отчётов на основе имеющихся в инфраструктуре данных.
Вебинар состоится 20 января в 11:30 по московскому времени. Регистрация.
Под катом примеры отчетов и скриншоты интерфейса Enterprise Reporter.
Настройка LEMP сервера для простых проектов. Инструкция для самых маленьких. Часть третья
Приветствую читателей! В рамках текущей серии статей я рассказываю о том, как настроить сервер для простых проектов. Имеется ввиду сервер для работы нескольих сайтов, с небольшой нагрузкой под наиболее популярной CMS такой например как Bitrix. Основная цель статьи указать на ошибки допускаемых младшими специалистами при выполнении подобной настройки. Также указать на какие то вещи, которые сделают troubleshooting простым и удобным.
Это не совсем стэк LEMP, так как здесь используется Apache2, но вы можете использовать PHP-FPM вместо этого, если разработчик не против внедрения такого решения.
В комментариях к статьям я часто вижу сообщения, о том, что Apache2 уже не актуален и вместо него можно поднять другое ПО. От себя могу сказать, что до сих пор большое количество небольших и средних организаций, встающих на обслуживание используют Apache2 и файлы .htaccess, поэтому я не согласен с данным утверждением. Но опять же если вы опытный администратор, понимающий как работает эта связка, вы можете пропустить эту статью и поднять то, что вашей дуже угодно.
Статья написана не с целью взять и бездумно скопировать все команды и получить готовый сервер для размещения площадки. Также если в вашей конкретной компании используется другой стэк, я очень за вас рад, но это не отменяет того факта, что то ПО которое описано в этой статье все еще популярно, используется и администрируется без каких-либо проблем.
Предыдущие части статей доступны по следующим ссылкам:
SQL HowTo: считаем «уников» на интервале
Для систем управления бизнесом часто приходится решать очень похожий класс задач по вычислению количества уникальных объектов на произвольном временном интервале. В контексте CRM это могут быть "пользователи, обращавшиеся на горячую линию на прошлой неделе", "контрагенты, оплатившие за последние 30 дней" или "потенциальные клиенты, с кем был контакт в этом квартале".
Искать в большом количестве фактов «уники» — всегда сложно и долго, если их достаточно много. Если интервалы фиксированы (календарные месяц/квартал/год), можно материализовывать такие агрегаты заранее. А если интервал — произвольный, как тогда эффективно найти ответ?
OpenStack в корпоративном ЦОД. Опять?! Вроде давно же проехали…
Привет, хочу поделиться мыслями относительно OpenStack. История конечно не нова - годы безудержного хайпа вокруг этой технологии уже позади, это видно как субъективно, так и в отчётах Google Trends. Даже известные евангелисты этого продукта, вроде основателя Mirantis Александра Фридланда, подвели черту и отметили что тема в итоге не выстрелила и скатилась в ниши. О чем тогда разговор, если так все закончилось?
OneWeb, провайдер спутникового интернета, в паре месяцев от запуска своей сети
Похоже, что ближайший конкурент Starlink, компания OneWeb, все же добъется своего и в итоге запустит спутниковую сеть. Правда, запуск пришлось перенести с начала 2022 года на примерно середину, но все же для компании, которая не так давно объявила себя банкротом, это не так и плохо.
Насколько можно понять, запуск отложен по независящим от OneWeb причинам — дефициту чипов, который мешает изготовить в нужном количестве терминалы для приема и обработки сигналов спутников. Это, понятно, официальная версия, могут быть и другие причины. Но все же работа по пуску сети идут полным ходом. О том, что сейчас происходит с OneWeb — под катом.
Немного о мутациях SARS-CoV-19
До 2022 года варианты SARS-CoV-2, вызывающие новые волны COVID-19, возникали примерно с полугодовыми интервалами. И была надежда на то, что после очередной волны, вызванной вариантом Дельта, наступит какое-то затишье. Тем более что в некоторых странах к началу этой волны было вакцинировано уже почти всё население. Но неожиданно быстрое распространение варианта Дельта принесло две новости – плохую и хорошую. Плохая новость заключалась в том, что иммунизация любыми нынешними вакцинами плохо защищает от инфицирования этим новым вариантом вируса. А если и защищает, то ненадолго. Хорошая – это то, что всё-таки защищает, но преимущественно от развития тяжёлых форм пневмонии. И существенно снижает летальность. В результате массовая вакцинация и увеличение количества переболевших почти не влияют на распространение вируса, но неплохо снижают смертность от COVID-19.
Появление варианта Омикрон в целом не изменило ситуацию. Но влияние вакцинации уменьшилось, а сочетание имеющегося коллективного иммунитета с большей контагиозностью и меньшей летальностью самого вируса вселило надежду на то, что очередная волна эпидемии станет более массовой, но менее кровожадной. Т.е. сможет сформировать коллективный иммунитет со сравнительно небольшими потерями населения, что позволит надеяться на лучшее – на переход эпидемии в тлеющий режим, не требующий экстраординарных мер от здравоохранения. При этом готовиться нужно к худшему – к появлению новых высококонтагиозных вариантов SARS-CoV-2 и к «штормовому» течению пандемии, при котором последовательность новых волн эпидемии утратит сезонную упорядоченность и они начнут чередоваться всё чаще и чаще, накладываясь друг на друга.
Big Data с «кремом» от LinkedIn: инструкция о том, как правильно строить архитектуру системы
«Традиционно, самым узким местом в архитектуре любой информационной системы является система управления базами данных (СУБД). Можно сколько угодно оптимизировать прикладное программное обеспечение (ПО), но все равно упремся в ограничения в части производительности запросов». В своем материале я рассказываю о том, как построить архитектуру системы без слабых мест, и кого для этого стоит принести в жертву.
Почему Kubernetes — это новый Linux: 4 аргумента
+Star Patrol I+ by ERA7
Привет, я Павел Селиванов, Architect и Developer Advocate в VK Cloud Solutions. Современные тенденции в отрасли приводят меня к убеждению, что Kubernetes становится чем-то вроде Linux, и в этой статье хочу объяснить свою позицию.
Перед началом VK Kubernetes Conference мы провели опрос среди участников Вечерней школы Kubernetes. Спросили, используют ли они Kubernetes в своих компаниях: ответили «да» 73% участников.
Kubernetes: трансформация к SecDevSecOpsSec
Данная статья — взгляд на то, как Kubernetes способен повысить уровень безопасности, упростив управление ею и ускорив внедрение механизмов безопасности с точки зрения специалиста по ИБ, который большую часть своей карьеры занимался наступательной безопасностью. Сейчас на примере Kubernetes я вижу, что на нем можно организовать так называемую self defense (самозащищающуюся) систему.
Меня зовут Дмитрий Евдокимов, я founder и CTO компании Лантри, а кто-то может меня лучше знать, как автора каналаk8s (in)security. Про безопасность я буду говорить, исходя из моего опыта, как человека, который десять лет атаковал различные системы, реализуя угрозы и риски. Ссылка на мое выступление на конференции DevOps Conf 2021 будет в конце статьи.
Экономим деньги, спасаем стартапы от провалов, изобретаем по-новому вместе с системной инженерией
Почему стартапы обесцениваются, как свести риски провала до минимума и что в России не так с hardware? Ищем ответы в ISO 15288 и системной инженерии вместе с Дмитрием Паршковым — CEO Parshkov Inc и со-основателем Robots Can Dream. Он изучал системную инженерию в MIT, 15 лет делает стартапы, а еще консультирует крупные компании.
HazelCast и синхронизация метода между несколькими нодами
В процессе синхронизации метода между несколькими нодами я решил поработать с библиотекой HazelCast IMDG. К моему удивлению, у данного проекта очень мало технической документации, особенно по сравнению с Redis. На официальном портале присутствует минимальное описание возможностей библиотеки вместе со списком конфигураций, где местами и вовсе нет комментариев к добавленным строкам кода.
По этим причинам я решил поделиться своим опытом синхронизации метода между несколькими нодами, реализацией его практической части, а также показать вытекающую проблему и ее решение.
Получите доступ к видеозаписям выступлений Dell Technologies Forum, чтобы быть в курсе актуальных направлений в ИТ
Цифровая трансформация в последние месяцы была особенно интенсивной. Во всех отраслях экономики компании продолжают вливаться в тренд ИТ-инноваций с точки зрения гибридных решений для работы, модели потребления aaS («как сервис»), использования массивов данных и киберустойчивости. Мы отобрали только лучшие выступления и хотим поделиться видеозаписями, вызвавшими наибольший интерес у слушателей. Регистрируйтесь по ссылке и смотрите все записи бесплатно.
Докеризация языка программирования
Я вынуждена признаться: последние 8 лет я избегаю Docker. И дело тут не в непонимании пользы контейнеров. Мой первый опыт использования Docker оказался очень плохим. Настолько плохим, что убедил меня в том, что я не смогу освоить эту сложную технологию до приличного уровня. Позже я узнала, что из-за характера поставленной задачи (и поскольку я была и остаюсь пользователем Mac), я, на свое несчастье, столкнулась с большинством неприятных проблем ранних версий Docker. К моменту осознания этого, я уже полностью переключилась на устаревшие технологии, где большинство моих проблем было связано с попыткой развернуть контроль версий или базовое тестирование…
Чуть позже я занялась менеджментом и казалось, что мне больше никогда не придется столкнуться со своими страхами в лице Docker! Ура!
А потом появился Fault.
Пишем свои модули для Ansible на Python
Для жаждующих знаний и прогресса собрали материал из урока Дениса Наумова, спикера курсов Ansible и Python для инженеров. Немного разберёмся с теорией и посмотрим как написать модуль для создания пользователей в базе данных.
Материал объёмный. Рекомендуем сразу открыть итоговый код файла clickhouse.py для удобной работы со статьей.
Загрузка stage слоя DWH. Часть 2
Всем доброго дня. Я Иван Клименко, и я разработчик потоков данных в компании Аскона. Данная статья посвящена параметризации NIFI-потока и информированию СУБД об окончании загрузки.
Продолжаю рассказывать о разработке потоков ETL на Apache NIFI. Первая статья была более общей, в текущей я более подробно остановлюсь на параметрах процессоров в основных шагах, о применил атрибутов, как средства параметризации выполнения потока, и о применил для внесения в целевую систему с процессора PutDatabaseRecord.
Почему сообщество разработчиков ядра заменяет iptables на BPF?
Сообщество разработчиков ядра Linux недавно анонсировало bpfilter, который заменит давно существующую внутриядерную имплементацию iptables на высокопроизводительную сетевую фильтрацию на базе Linux BPF, гарантируя при этом переход без сбоев для пользователей Linux.