Все потоки

Мы активно деплоим свои приложения в Kubernetes и используем HTTP-пробы для сервисов. Однако решили провести эксперимент с exec-пробами и… положили на лопатки кластер! Как так? Ведь именно exec пробы первыми описываются во всех руководствах и книгах по Kubernetes, включая официальные! Что же не так?

Вот вам свежая информация о граблях, которая может вас уберечь от потенциальных проблем и необдуманных решений. А в конце статьи – что же не так с HTTP-пробами и зачем мы вообще экспериментировали с exec-ом.

С помощью ML-моделей сегодня выдают кредиты, регулируют движение на дорогах, определяют цены на товары и многое другое. Однако, процесс их разработки и вывода в продуктивную среду сложен и полон подводных камней. Очень часто качество прогноза, основанного на реальных данных, не соответствует ожиданиям пользователей. Меня зовут Надежда Костякова, я руковожу управлением анализа данных и машинного обучения в Первой грузовой компании (ПГК). В статье расскажу о принципах, которым следует наша команда Data Science, чтобы гарантировать надежную работу алгоритмов машинного обучения в продуктивной среде.

Какие проблемы возникают при использовании ML-моделей?

В 2013 году на площадке Kaggle было запущено соревнование. Его участники должны были отличить звук, издаваемый китом, от остальных звуков. Запуск прошел нормально, и люди начали загружать свои результаты. Один из них поразил организаторов: он был сильно выше ожидаемого и достигал невероятного показателя 0,99 ROC AUC. Как выяснилось, результат этот был достигнут даже без чтения звуковых файлов. Что же произошло?

Оказалось, что файлы с записью китов отличались по продолжительности от остальных, имели другой формат даты и были сгруппированы по времени. Организаторы и участники столкнулись с проблемой Data Leakage – когда не основные данные, а метаинформация помогла достичь результата. Это огромная проблема при использовании модели в «проде»: в реальных условиях у модели не будет таких метаданных, и ее результат будет крайне низким. В бизнесе это может привести к значительному экономическому ущербу.

Прежде чем предложить вам, уважаемые читатели, последующую статью, разрешите представиться – к вашим услугам автор, Юрий Сергеев-Байрон, верноподданный ее Величества и сын матінки України, имеющий за плечами два британских университета Brighton&Kingston, а ныне приверженец онлайн образования (покоривший несколько американских вузов), в определённом смысле имеющий отношение к IT индустрия. Прибавьте сюда мой многолетний опыт, но на английском и за деньги, а теперь полёт мысли на русском и безвозмездно и за идею. И вся эта гремучая смесь теории и практики складывается в научно-популярные труды, на злободневные темы, но человеческим языком.

Удаленна занятость, изначально спровоцированная технологическими факторами, а позже получившая дополнительный катализатор в свете последствий мировой пандемии, возымела довольно неожиданный эффект – те кто успешно адаптировался к изменениям и новым реалиям, шагнули дальше. А именно, успешно комбинируя две+ полноценных вакансии, при этом демонстрируя весьма впечатляющие профессиональные и индивидуальные способности. 

И все бы ничего, но работодатели зачастую не в курсе, а если и начинают догадываться либо выясняют постфактум, аплодисменты из их сектора доносятся весьма редко. Предлагаю разобраться в ситуации глубже, учитывая тот факт, что это приобретает массовый характер, особенно в IT индустрии. 

Всем привет!

Сегодня я хотел бы поделиться опытом настройки AWS Auto Scaling Group (ASG) на основе использования оперативной памяти (RAM).

Всё началось с того, что на одном из проектов нам понадобилось настроить масштабирование EC2-инстансов по использованию памяти, а стандартный ASG Target Tracking Scaling Policy позволяет создавать политики только на основе следующих метрик: среднее использование ЦПУ, средний входящий или исходящий сетевой траффик и количество запросов на цель ALB...

Среди разработчиков курсов ходит легенда об авторе, который смог перед стартом курса полностью реализовать учебный проект и подобрать материалы, опираясь на код этого проекта. Годом позже этот автор собрал все яйца в «Ну, погоди» и посмотрел финальный мультик, а ещё через год полностью прошёл тетрис.

Пытались ли вы посадить рядом трёх взрослых мужиков и сделать так, чтобы они договорились о том, каким должен быть код? Ведь самое сложное не написать код, а договориться о конечном варианте. И тогда происходит жара, шантаж, и торги разработческими фетишами: «Ладно, давай обернём эти поля формы в тег <p>, а за это ты сможешь ставить точки в конце альтов»

Пытались ли вы это сделать на десяти проектах подряд? Вот, то-то же. А теперь немного хронологии.

В основе систем распознавания речи стоит скрытая марковская модель, суть модели заключается в том, что при рассмотрении сигнала в промежутке небольшой длительности (от пяти до 10 миллисекунд), возможна его аппроксимация как при стационарном процессе.

Если простыми словами скрытую марковскую модель можно объяснить на примере.

• Цена
• Функции
• Управление проектами

• Автоматизация

Хабр, привет. Меня зовут Олег Копаев, я руковожу командой компьютерного моделирования в компании «Северсталь». Моделирование производства и использования продукции помогает компаниям сократить затраты. Вместо того чтобы экспериментировать на реальном производстве, лучше сначала смоделировать и отладить процесс и только затем запускать производство. 

Но чтобы от расчетов была польза, нужно учесть все нюансы. В том числе это касается физических свойств материалов. Если использовать стандартные шаблоны и не учитывать специфику производителя, то результаты таких расчетов могут не сойтись с реальностью.

Я расскажу, почему важно получать полные физические свойства материалов, где их взять и какие возможности это открывает.

Привет, Хабр! В этом обзоре я расскажу про уникальный игровой ноутбук ROG Strix G15 Advantage Edition, который целиком построен на платформе AMD. Кроме производительного процессора AMD Ryzen, ноутбук обладает новой мобильной видеокартой AMD Radeon RX 6800M c огромным объёмом собственной видеопамяти в 12 гигабайт. Сочетание процессора и видеокарты от одного производителя позволило реализовать некоторые фирменные технологии AMD, а новая графика способна потягаться с другими мобильными флагманами. Это делает ROG Strix G15 Advantage Edition G513 идеальным решением как для геймеров, так и для тех, кто занимается созданием контента.

Привет! Меня зовут Сергей Могилевский, я QA Engineer в NIX, спикер NIXMultiConf. Со временем я заметил, что начинающие специалисты иногда переоценивают себя. Берутся за то, что им не под силу, не справляются и подводят всю команду. Почему же так происходит? Предлагаю разобраться. Советы пригодятся лидам, которые хотят помочь подопечным. Полезно будет и новичкам, желающим постоянно расти и узнать свои сильные и слабые стороны.

Дисклеймер: описанные ниже примеры и рассуждения не касаются абсолютно всех trainee и джунов. Это скорее один из возможных сценариев.

Многие PHP разработчики хотели бы видеть в PHP поддержку дженериков, и я в том числе. RFC по их добавлению был создан ещё в 2016 году, но до сих пор не принял окончательный вид. Я рассмотрел несколько вариантов решений поддержки дженериков в синтаксисе PHP, но не нашёл рабочей версии, которой мог бы воспользоваться обычный разработчик.

В итоге я решил, что могу сам попробовать реализовать такое решение на PHP. Скриншот выше — реальный пример того, что у меня получилось.

Если хочется сразу попробовать, то вот библиотека mrsuh/php-generics и репо, в котором можно поиграться.

На Хабре мы активно делимся интересными кейсами по роботизации наших клиентов, рассказываем о своих продуктах и их новых фичах. Одна из главных целей наших материалов — показать ценность RPA-решений для бизнеса. Однако, в комментариях к нашим постам очень часто разгораются нешуточные дискуссии по поводу полезности и нужности RPA. Наши наблюдения показывают, что чаще всего скептически к сервисам роботизации относятся IT-специалисты. Мы решили поговорить об этом подробнее и попросили технического эксперта UiPath Валентина Драздова ответить на самые распространенные возражения по поводу внедрения автоматизированной роботизации и RPA-систем. 

Возникла идея создать небольшую утилиту на Python, которая будет парсить PDF и сверять со списком швов, взятых из BIM модели. Изначально я обратился к библиотеке pdfminer, вернее к ее форку pdfminer.six. Но скорость работы меня совершенно не устраивала. Вот, например, загрузка файла в 10 страниц и парой картинок.

Обращали ли вы когда-нибудь внимание на то, сколько всего в кадре упускает наш мозг при просмотре фильма? Каждый раз, когда вы пересматриваете своё любимое кино, вы замечаете что-то новое.

Возьмём для примера великое – “Назад в будущее”. Главное, что захватывает в фильме, это, конечно, сюжет. Но во сколько лет на какой просмотр вы узнали, что в конце фильма магазин "Две сосны" поменял своё название на "Одинокая сосна"? Это происходит потому, что Марти сбивает дерево на ферме Пибоди, влетев в прошлое на DeLorean DMC-12. В первый раз это тяжеловато увидеть, но это важная деталь сюжета.

А помните ли вы диван, на котором так уютно сидели “Друзья” в квартире Моники и Рейчел? Наверняка, у нас всех в памяти хранится его общий вид, но когда заходишь в магазин и хочешь купить такой же, вряд ли вспомнишь всё в деталях.

В момент просмотра фильма, мы часто сфокусированы на сюжете и происходящем на переднем плане, из-за чего можем упускать детали, без которых фильм может показаться не столь продуманным.

Но не беспокойтесь. В 2021 это больше не проблема, ведь теперь есть платформа компьютерного зрения Layer, которая смотрит кино вместе с вами. От неё никаким деталям не спрятаться и не скрыться. Давайте заглянем “под капот”?

В предыдущей статье мы сформулировали нашу главную проблему при масштабировании Unidirectional Data Flow (UDF) — модуляризацию. Сегодня существует много UDF-фреймворков на Swift, но мало кто уточняет, как их масштабировать на большое, многомодульное приложение. Мы решили поделиться, с какими сложностями столкнулись и к каким решениям пришли. 

В статье рассмотрим 3 проблемы, с которыми столкнулись, и сравним, как разные фреймворки их решают. Для сравнения мы выбрали одни из самых популярных — ReSwift и The Composable Architecture (TCA). В конце расскажем, какое решение мы в итоге реализовали. Приступим!