Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга
Уровень сложности

Kubernetes Scheduler в Деталях: Ключевые Концепции. Часть 2

Уровень сложности Сложный
Время на прочтение 13 мин
Количество просмотров 163

В мире, где Kubernetes доминирует в управлении контейнеризированными приложениями, один вопрос часто встаёт перед теми, кто стремится понять его внутренние механизмы: 'Как на самом деле работает k8s scheduler?' Эта статья предназначена для развенчания мифов и предоставления чёткого объяснения работы Kubernetes планировщика. Мы исследуем ключевые моменты этого процесса, начиная от того, назначает ли планировщик модули узлам один за другим в очереди или выполняет эту задачу параллельно, и заканчивая более сложными аспектами его работы. Погрузитесь в детали этой сложной, но увлекательной темы вместе с нами, чтобы лучше понять, как Kubernetes оптимизирует размещение подов в вашем кластере

Погружение в Мир Kubernetes Scheduler
Всего голосов 6: ↑5 и ↓1 +4
Комментарии 0

Новости

Дежурный data-инженер: рабочие хроники

Время на прочтение 15 мин
Количество просмотров 246


Команда VK Cloud перевела серию статей о том, как data-инженер принимает вызовы технической команды по работе с платформой данных. Он рассказывает о реальных неисправностях, которые возникают в процессе работы, и о том, как команда работы с данными их устраняет.
Читать дальше →
Всего голосов 1: ↑0 и ↓1 -1
Комментарии 0

Освобождение робота-пылесоса, который стал моим другом

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 1.3K
Немного доп. оборудования, несколько команд Linux и вуаля! Пылесос свободен! Фото Cath Virginia / The Verge

В целом роботы-пылесосы мне нравятся. Для меня это эдакий небольшой друг, который чистит за меня пол. Просто фантастика. Но, к сожалению, есть одна проблема — я им не доверяю. Эти девайсы постоянно отправляют отчёты на серверы, что может представлять угрозу для безопасности и тайны личной жизни. Мне такое не по духу, и я подумал, что кто-то уже должен был хакнуть эту схему. После недолгих поисков в интернете я понял, что прав. Мне попался проект Valetudo, нацеленный на освобождение роботов-пылесосов от связи с облаком.
Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Комментарии 3

Береги файлы смолоду. Что может произойти, если выкинуть в помойку неисправный жесткий диск

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 2.1K


Время от времени мне приходится чинить старую компьютерную технику. Винчестеры формата IDE сейчас уже не выпускают, а оптические диски выступают в роли расходного материала — далеко не все возрастные ноутбуки и персоналки умеют грузиться с USB, а покупать чистые болванки пачками или поштучно — довольно разорительное занятие. Поэтому месторождением запчастей и расходников для меня служит самая популярная в Рунете доска объявлений и блошиный рынок: там можно приобрести за копейки побывавшие в употреблении перезаписываемые CD/DVD-RW, а заодно старые жесткие диски, которые еще способны послужить новым владельцам. Но речь сейчас не о том, как сэкономить на комплектующих, а о том, что порой можно обнаружить на «бэушных» носителях информации…
Читать дальше →
Всего голосов 23: ↑21 и ↓2 +19
Комментарии 6

Истории

Подмена номера: как работает и чем опасна

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 789

По данным Банка России, только за два квартала 2022 года ущерб клиентов банков от телефонного мошенничества составил совокупно 7 млрд руб. Операции без согласия клиента проводились благодаря звонкам с подменой телефонного номера. С ее помощью можно выдать свой телефон за номер известной организации и тем самым обмануть доверчивого абонента. Рассмотрим, как функционирует данная технология, может ли ее использовать любой человек, и насколько это для него безопасно.

Читать далее
Рейтинг 0
Комментарии 0

Как департамент утилизации CPU превратился в департамент экономии железа, выдерживающий нагрузку в 1 млн RPS

Уровень сложности Простой
Время на прочтение 26 мин
Количество просмотров 1.5K

Привет, меня зовут Мария, когда-то я работала на шахте, потом на заводе, а 3.5 года назад пришла в Ozon Tech. Сейчас я старший Golang-разработчик в команде product-facade. Это самый высоконагруженный сервис маркетплейса, но так было не всегда.

Хотите узнать, что скрывается под витриной маркетплейса? Что держит нагрузку в 1 миллион запросов в секунду? Толстые кэши или нечто большее? Про то, как устроено наше кэширование и как мы к этому пришли, — рассказываю в статье.

Читать далее
Всего голосов 31: ↑31 и ↓0 +31
Комментарии 9

Безопасный Zookeeper: SASL with Digest-MD5

Уровень сложности Средний
Время на прочтение 20 мин
Количество просмотров 255

Привет! Столкнулся с тем, что быстро не нашел простой инструкции, как с использованием SSL и SASL настроить безопасный кластер из нескольких Linux узлов Zookeeper, и решил это исправить.

В этой статье поговорим о том, как:

Настроить Zookeeper в кластере из трех узлов без шифрования (Plain);

Добавить шифрование во внутрикластерное взаимодействие (Quorum TLS);

Создать сертификаты для подключения к узлам Zookeeper клиентов (Server TLS);

Создать сертификаты для подключения клиентов к узлам (Client TLS);

Добавить авторизацию в шифрованный кластер (SASL with MD5);

Показать на примере, как работают ACL, посмотреть, чем отличается суперпользователь super от всех остальных (как работает ACL в действии).

Читать далее
Всего голосов 10: ↑9 и ↓1 +8
Комментарии 0

Закупщик и Айтишник: понять и принять

Время на прочтение 7 мин
Количество просмотров 692

Хочу рассказать о моей профессии закупщик в ИТ. Во-первых, это красиво (с). А ещё я уверена, что многие айтишники и инженеры как-то, да взаимодействуют с отделом закупок и даже знаю, каким технические специалисты видят процесс закупок («просто возьмите и купите по спецификации, что привязались-то, а?»). Но так не работает при высокостоимостных закупках, а в ИТ они, в основном, именно такие.

Надеюсь, моя статья поможет понять, что всё-таки этот душный закупщик хочет от грустного инженера, и какова его ценность в пищевой корпоративной цепочке.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 2

О внутрикластерной маршрутизации через Istio

Уровень сложности Средний
Время на прочтение 8 мин
Количество просмотров 802

Привет, Хабр! Я Степан, DevOps‑инженер, занимаюсь созданием CI/CD процессов с учётом проверки кода на безопасность, поддержкой и разверткой новых кластеров Kubernetes, соблюдением требований безопасности и созданием системы мониторинга и логирования — все это в рамках одной команды. Хочу рассказать об одной незадокументированной особенности Istio, с которой мне довелось столкнуться при внедрении Service Mesh.

Об Istio на Хабре написано уже немало (например, тут и тут, может пригодиться новичкам в этой теме), но вот разбора конкретных примеров не хватает. И когда у нас в ОТП Банке возникла проблема с «Истио», решать её нашей команде пришлось самостоятельно.

Быть может, наш опыт пригодится тому, кто позже наступит на те же грабли. Даже лучше будет, если кто‑то прочитает и уже не наступит. Конкретно наши грабли пригодятся при использовании Istio для маршрутизации в рамках одного кластера. Ещё наш кейс можно проецировать на другие задачи с маршрутизацией. И использовать как пример того, как в нестандартных ситуациях искать качественное решение.

Как и статьи по ссылкам выше, этот текст в основном для начинающих. Эксперты, вероятно, и без того в курсе (возможно, даже подскажут более эффективное решение). С экспертизой и более глубокой работой с istio + может быть с envoy данное решение будет найти не так сложно. Под катом — подробности проблемы, схема нашего конфига с решением и код.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 4

Yandex Backend Tour: по городам России в поисках backend-разработчиков

Время на прочтение 8 мин
Количество просмотров 1.6K

Программисты уровня middle+ не готовы тратить месяц жизни на длительные интервью. Поэтому Яндекс приглашает backend-специалистов пройти собеседование всего за неделю, без стресса и ожидания. В ходе Yandex Backend Tour с 13 по 17 ноября кандидаты смогут встретиться офлайн с разработчиками сервисов Яндекса в пяти городах России — Москве, Санкт-Петербурге, Нижнем Новгороде, Екатеринбурге, Новосибирске, а затем за неделю пройти отбор и до 26 ноября узнать результаты.

Перед тем как отправиться в тур, разработчики Яндекса рассказали Хабру о своих продуктах и о том, кого они ищут в свои команды.

Читать далее
Всего голосов 31: ↑25 и ↓6 +19
Комментарии 11

Безопасно стираем файлы с цифровых носителей

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 5.3K

В этом посте разбираемся, какие способы очистки цифровых носителей информации являются самыми подходящими для каждого типа. Отмечу, что пост не претендует на оригинальность, а лишь является сборником известной полезной информации для Вашего удобства.

Читать далее
Всего голосов 19: ↑17 и ↓2 +15
Комментарии 7

Почему вам стоит отказаться от использования timestamp в PostgreSQL

Время на прочтение 10 мин
Количество просмотров 24K

Не секрет, что работа с часовыми поясами — боль, и многие разработчики объяснимо стараются ее избегать. Тем более что в каждом языке программирования / СУБД работа с часовыми поясами реализована по-разному.

Среди тех, кто работает с PostgreSQL, есть очень распространенное заблуждение про типы данных timestamp (который также именуется timestamp without time zone) и timestamptz (или timestamp with time zone). Вкратце его можно сформулировать так:

Мне не нужен тип timestamp with time zone, т.к. у меня все находится в одном часовом поясе — и сервер, и клиенты.

В статье я постараюсь объяснить, почему даже в таком довольно простом сценарии можно запросто напороться на проблемы. А в более сложных (которые на самом деле чаще встречаются на практике, чем может показаться) баги при использовании timestamp практически гарантированы.

Читать далее
Всего голосов 61: ↑60 и ↓1 +59
Комментарии 73

Введение в Apache Flink: осваиваем фреймворк на реальных примерах

Время на прочтение 10 мин
Количество просмотров 2.6K

Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink. Эту технологию выбрали, так как она (в отличие от Apache Spark) относится к true-стримингу и позволяет строить обработку данных с минимальной задержкой. В качестве DI-фреймворка выбрали привычный нам Spring Framework.

Наша команда использует разные виды тестирования: Unit, интеграционное, E2E, ручное, автоматизационное, нагрузочное. Этой теме будет уделено особое внимание. Я расскажу, какие подходы и паттерны помогут быть уверенными в качестве того, что вы разработали.

Эти знания будут полезны любому Java-разработчику, знакомому со Spring. А начинающие Flink-специалисты найдут здесь примеры стандартных ошибок и пути их решения. Обратите внимание, что эти материалы писались, когда актуальной версией Flink была 1.17. В конце октября вышла версия 1.18, и она может отличаться некоторыми нюансами.

Читать далее
Всего голосов 22: ↑22 и ↓0 +22
Комментарии 2

Ближайшие события

Битва пет-проектов
Дата 25 сентября – 30 ноября
Место Онлайн
HolyJS
Дата 2 – 12 ноября
Время 15:00 – 19:00
Место Санкт-Петербург Онлайн
IT Recruiting – HR Forum 2023
Дата 8 – 10 ноября
Время 9:00 – 18:00
Место Москва
Яндекс Backend Tour
Дата 13 – 26 ноября
Время 18:00 – 23:00
Место Москва Нижний Новгород Екатеринбург Новосибирск Санкт-Петербург Онлайн
Национальный рекламный форум
Дата 15 – 17 ноября
Время 10:00 – 19:30
Место Москва
Онлайн IT HR-конференция HR42
Дата 17 – 18 ноября
Время 10:00 – 14:00
Место Онлайн
Импульс Т1
Дата 17 ноября
Время 13:00
Место Иннополис Онлайн
HighLoad++ 2023
Дата 27 – 28 ноября
Время 9:00 – 20:00
Место Москва Онлайн
Импульс Т1
Дата 1 декабря
Время 12:30
Место Москва Онлайн

Развертывание базы данных Oracle в Docker в условиях санкций

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 1.9K

По определенным обстоятельствам потребовалось создать имитацию всего контура тестируемого нами ПО, контур включает в себя множество различных сервисов, но в этой статье остановимся на базе данных, так как процесс ее развертывания наиболее нитереснен.

В статье освещен процесс решения проблем при сборке образа и запуске контейнера

Читать далее
Всего голосов 9: ↑2 и ↓7 -5
Комментарии 8

«Рыбка в аквариуме» или как повысить устойчивость песочницы к детектированию вредоносным ПО

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 820

Приветствую вас, уважаемые читатели. В данной статье будет рассмотрен один из способов выявления недостатков вашей песочницы и повышения её устойчивости к детектированию вредоносным программным обеспечением (ВПО) с помощью утилиты Pafish, а также мы ответим на вопрос :"Как проверить свою песочницу на предмет обнаружения виртуализации?"

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Самые громкие атаки и наиболее заметные утечки

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 1.5K

Друзья! На связи Роман Резников и исследовательская группа департамента аналитики ИБ Positive Technologies. Продолжаем делиться с вами информацией об актуальных киберугрозах. Сколько бы я ни изучал мир информационной безопасности, не перестаю удивляться. Не стоит на месте научная хакерская мысль. И вроде бы только начинаешь привыкать к текущим тенденциям, как злоумышленники придумывают что-то еще. О новых (и старых, но работающих!) мошеннических схемах, приемах кибервымогателей и шантажистов читайте в полной версии нашего свежего исследования, а здесь остановимся на жертвах и последствиях кибератак III квартала. Итак, погнали.

Читать
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Почему облачные среды разработки до сих пор не завоевали популярность?

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 8K

Интересная ситуация сложилась с облачными IDE. Они не используются программистами с такой же скоростью как другие облачные технологии. Почему их внедрение и распространение продвигается так медленно?

Сегодня обсудим причины и разберемся в разных точках зрения по этому вопросу.

Читать далее
Всего голосов 10: ↑6 и ↓4 +2
Комментарии 17

Мониторинг с Grafana. Best practices

Уровень сложности Средний
Время на прочтение 11 мин
Количество просмотров 6.6K

Сборная солянка из существующих best practices по работе с Grafana и немного с Prometheus, проверенных мной лично. Можно просто положить в закладки — когда-нибудь да пригодится.

Будет полезно
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 9

Делаем интерфейс вентиляции для SCADA

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 3.1K

С каждым новым объектом стараюсь дорабатывать и улучшать интерфейсы инженерных систем, опираясь на уже наработанный опыт. Сейчас под будущий проект доработал интерфейсы на вентиляцию до стадии, когда все нравится и уже не хочется больше ничего менять и я хочу поделиться им с вами и процессом его создания.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 14

Тестируем китайские rack-серверы TTY

Время на прочтение 6 мин
Количество просмотров 2K

В нашу лабораторию Jet RuLab на тестирование попали серверы бренда TTY, довольно успешно продающиеся на китайском внутреннем рынке, но малоизвестные в России. В этом посте рассказываем о моделях двух поколений, возникших проблемах и можно ли с этим жить. 

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 2