Все потоки

Обучение с подкреплением (Reinforcement learning, RL) сыграло ключевую роль в стремительном развитии технологий искусственного интеллекта, которое можно было наблюдать в последнее десятилетие. В этом материале мы простыми словами расскажем о том, что такое обучение с подкреплением, поговорим о том, почему оно важно не только как объект исследований, но и как инструмент, который находит множество самых разных вариантов практического применения.

Привет, я Таня, и наша команда занимается разработкой инфраструктуры для нагрузочного тестирования (НТ) в Ozon. Наша цель — предоставить разработчикам простой и понятный инструмент для подготовки и самостоятельного запуска нагрузочных тестов — можно сказать, нагрузочное тестирование as a service. У нас НТ широко распространено и поставлено на поток — большинство продуктовых сервисов регулярно тестируется по расписанию, в автоматическом режиме. Кстати, подавляющая часть тестов проводится не на тестовых стендах, а прямо в продакшене. Это связано с определёнными рисками, ведь есть ещё и реальный пользовательский трафик. Обложившись алертами и автостопами (критериями для автоматической остановки тестов), мы сводим эти риски к минимуму.  

Компания растёт, увеличивается число пользователей и сервисов. В один прекрасный день нам стало тесно в рамках одного дата-центра — началось масштабное расширение на три ЦОДа. Каждый сервис обзавёлся дополнительными инстансами — и новыми требованиями к нагрузке. У НТ-разработчиков появилась задача тестировать сервисы, разбросанные по разным ЦОДам, и при этом ничего не уронить (мы ребята высоконагруженные). Кроме того, для уменьшения объёмов трафика между ЦОДами и сетевых задержек сервисы при взаимодействии перешли с серверной на клиентскую балансировку. Так как при НТ требуется максимально точно воспроизводить клиентский трафик, от генераторов нагрузки ожидалось такое же поведение. О том, какие перед нами стояли задачи и как мы с ними справились, читайте под катом. 

Летом 2021 года мы, специалисты экспертного центра безопасности Positive Technologies, выявили ранее неизвестную APT-группировку, которая действует по меньшей мере с 2017 года. Главные цели Space Pirates (именно так мы решили назвать группу киберпреступников) — шпионаж и кража конфиденциальных данных. Как показало наше исследование, впервые мы встретили Space Pirates еще в конце 2019 года, когда в рамках мониторинга угроз ИБ обнаружили фишинговое письмо с ранее неизвестным вредоносным ПО, направленное в адрес одного российского авиационно-космического предприятия.

Кто на прицеле у новой хакерской группировки, какие утилиты она использует в атаках и как ее активность связана с уже известными APT-группами, читайте под катом.

Каждый аудиосигнал содержит характеристики. Из MFCC (Мел-кепстральных коэффициентов), Spectral Centroid (Спектрального центроида) и Spectral Rolloff (Спектрального спада) я провела анализ аудиоданных и извлекла характеристики в виде среднего значения, стандартного отклонения и skew (наклон) с помощью библиотеки librosa.

Для классификации “живого” голоса (класс 1) и его отделению от синтетического/конвертированного/перезаписанного голоса (класс 2) я использовала алгоритм машинного обучения - SVM (Support Vector Machines) / машины опорных векторов. SVM работает путем сопоставления данных с многомерным пространством функций, чтобы точки данных можно было классифицировать, даже если данные не могут быть линейно разделены иным образом. Для работы я использовала математическую функцию, используемой для преобразования (известна как функция ядра) - RBF (радиальную базисную функцию).

В первой части анализа аудиоданных разберем:

Бывало у вас такое, что сложно найти общий язык с коллегами и клиентами из других стран? Чаще всего такие недопонимания я списывал на менталитет, но особенно не задумывался по поводу причин этой проблемы. Все стало намного понятнее после прочтения книги “Карта культурных различий. Как люди думают, руководят и добиваются целей в международной среде” от Эрин Мейер. О книге и моём отношении к книге я и хотел бы рассказать.

DBA в Southbridge Иван Чувашов подготовил статью о построении DWH на основе Greenplum. Слово Ивану.  

Привет, Хабр! Я администратор баз данных с 15-летним опытом. Сегодня хочу рассказать про Data Warehouse на основе Greenplum — как они устроены, как их поднимать и с какими проблемами и нюансами я лично сталкивался в своей практике.

Всем привет! Меня зовут Сергей и я практикующий психолог.

Дисклеймер: это вообще не хабритянская статья по форме и содержанию. В ней я поверхностно анализирую принципы коммерциализации сервисов подбора психологов и выявляю противоречия с самим процессом психологической работы. Вредны ли сервисы подбора психологов и можно ли ожидать быстрый результат в такой работе?
Лонгрид для психологов и тех, кто к ним ходит, про психотерапевтический контракт и его перерождение из инструмента терапии в инструмент продаж.

P.S. некоторые термины я прямо разжевываю, чтобы неподготовленному читателю было легче. Подготовленных - прошу простить за лишние знаки.

Подключение к jitsi с отсутствием авторизации может стать небезопасным. Для того, чтобы избежать незваных гостей во время встречи, совещания или личной беседы стоит задуматься об авторизации. Под катом я подробно расскажу как нам улучшить наш сервис jitsi-meet с помощью JWT-токена.

Продолжаю эксперимент с рубрикой дайджестов на Хабре. На этот раз, собрал наиболее полезные и популярные материалы для мобильщиков за 2 недели.

Android 🤖

• Знакомьтесь: библиотека TiRecycler
• Custom Canvas Animations in Jetpack Compose
• Special Google I/O 2022 Edition
• Scan code without camera permissions
• Do you use Kotlin’s most powerful tool?
• VK при поддержке Минцифры запустила бета-версию российского магазина приложений
• Многомодульный BDSM: стоит ли внедрять Gradle модули и какие типы модулей бывают?
• Some Best Practices for Android App Architecture
• 15 Best Android Libraries for 2022
• Strategies for managing Gradle dependencies
• Запросы в сеть с Clean Architecture и MVVM. Boilerplate ч. 2
• Как и зачем собирать Android приложение в docker контейнере
• Как работает UI в Android. Не все так сложно
• Chrome на Android сломал чужие MitM-сертификаты, но это можно исправить
• Toying with Kotlin's context receivers
• Deep dive into Android ANR | OkCredit
• Take Part in the New UI Preview for Your JetBrains IDE
• A cleaner way to interact between Composable and ViewModel in Jetpack Compose
• Speeding up Kotlin Multiplatform
• Jetpack Compose Clean Architecture with Rorty App
• 5 Awesome Jetpack Compose Custom Progress Indicator Designs
• Detect Swipe Direction on Jetpack Compose to trigger BottomSheetScaffold
• Spot your UI jank using CPU profiler in Android Studio
• Как рефакторинг помогает улучшить производительность разработчиков и повысить качество приложений
• Using MotionLayout in Compose
• SOLID – это не правила, а гайдлайны
• Measure and improve performance with Macrobenchmark
• The Suspend & Inline Mystery | Kotlin Tips 2022 - YouTube
• Full Guide to Testing Android Applications in 2022
• Compose Navigation in 3 Minutes
• Jetpack Compose under the hood: Touch Events

Если спросить у разработчиков, каким должен быть идеальный продукт — полезная утилита, мобильная игра, фреймворк или что-то еще, — они назовут набор критериев. Но не факт, что то же самое вам скажут другие участники цепочки. 

Мы в T1 Консалтинг поговорили с разработчиком, руководителем направления и владельцем продукта и разобрались, какой должна быть современная CRM-система, чтобы она закрывала задачи бизнеса, и какие подходы к разработке лежат в ее основе.

Frontend-разработчик нашей команды Евгений Самойлов рассказывает, как сократить время написания рутинной разметки за счет преобразования простых аббревиатур в полноценные блоки кода.

Представим процесс отладки программы на С++: перед нами есть указатель на какую-то переменную, и мы хотим знать, на что он указывает. Два варианта: если переменная глобальная, то любой современный отладчик назовет ее имя, и мы будем довольны. А вот если переменная локальная, то никакой полезной информации мы не получим.

В этом посте я расскажу, как писал скрипт, который позволяет отладчику LLDB говорить подробнее об указателях на локальные переменные: называть указываемую переменную, определять в каком стекфрейме и потоке исполнения она живет.

Подборка мероприятий на неделю.

Heisenbug 2022 Spring

• 30 мая (понедельник) — 01 июня (среда).
• онлайн.
• от 22 500 р.
• Heisenbug — большая техническая конференция, которая собирает вместе специалистов в области тестирования. Это и тестировщики, и программисты, разрабатывающие тесты для своего кода, и специалисты по автоматическому и нагрузочному тестированию, и менеджеры команд, которые думают о том, чтобы повысить эффективность тестирования в своих проектах. В online вас ждут выступления, посвященные трендам и новым технологиям, обмен опытом и общение в чатах.

Подборка мероприятий на неделю.

Как создать продукт, желанный для клиента

• 31 мая (вторник).
• Петровка 19стр4.
• бесплатно.
• Как создать продукт, в который влюбится каждый? Поговорим об этом 31 мая на митапе для проджект-менеджеров и продакт-оунеров. Эксперты по CX/UX-исследованиям расскажут, как понять свою аудиторию и не ошибиться.
  Ребята из AGIMA соберут лучших исследователей клиентского опыта из М.Видео-Эльдорадо, Alfa Research Center и INTEGRAL DESIGN. Вместе они расскажут, что делает продукт востребованным и желанным.
  Темы их докладов:
  
  • О чем молчат для вас клиенты.
  • Как за полтора года встроить CX/UX-исследования в работу продуктовых команд в большом бизнесе.
  • Как создать востребованный продукт в условиях неопределенности.
    31 мая стартуем в 19:00 по Москве. Не пропустите!

SQL - декларативный язык - то есть вы описываете "что" хотите получить, а СУБД сама решает, "как" именно она будет это делать. Некоторые из них при этом позволяют им "подсказывать", как именно лучше выполнять запрос, но PostgreSQL - нет.

Тем не менее, "синтаксический сахар" некоторых языковых конструкций позволяет не только писать меньше кода (учите матчасть!), но и добиться, что ваша база будет делать часть вычислений "лениво", только при фактической необходимости.

Привет!

В этой статье я бы хотел поделиться с теми, кто использует Apache Zeppelin в сочетании со Spark на Scala, возможностями по визуализации полученных данных.

Как самим построить такое "северное сияние", как на картинке, какие преимущества имеют тепловые карты, какие процессы легко пропустить, не используя их для анализа - обо всём этом в статье