Статистика в IT

Максим Лунев

Аналитик отдела аналитики производственного департамента Security Vision

Они окружили нас

Метрики прочно вошли в нашу жизнь. Финансы и спорт, бизнес и социальные сети - практически невозможно найти область, где те или иные количественные характеристики не решали бы много, если не все. Метрики рушат карьеры и возносят на пьедестал, вгоняют в депрессию и сулят золотые горы, могут стать лучшими друзьями или злейшими врагами. Не обошли они стороной и мир информационной безопасности.

 Все больше и больше современных SOC-центров активно внедряют в свою деятельность мониторинг и измерение своей эффективности. Это позволяет быстро выявить и устранить «бутылочные горлышки», оценить качество работы команд по реагированию, определить свои слабые места и составить стратегию развития. И, конечно же, проиллюстрировать свою ценность перед руководством компании, оправдав все вложенные инвестиции.

Каждый день мы собираем больше 200 ГБ данных о клиентах Lamoda, которые листают сайт и делают заказы. Но красивые цифры про наше хранилище — это одно, а правильные выводы из данных — совсем другое.

Меня зовут Александр Айваз, я руковожу командой Data & Analytics в Lamoda Tech. И сегодня расскажу об ошибках в аналитике, которые легко совершить, глядя на данные в ретейле и e-commerce. Уверен, кому-то статья поможет иначе взглянуть на собственный продукт — или даст представление о том, с какими вопросами работают продуктовые аналитики.

Конечно, многие из этих ошибок когда-либо совершали и мы сами. В статье я постараюсь не углубляться в цифры, а расскажу о причинах на собственном примере. 

Цифровые продукты и сервисы стали обыденным явлением, и сегодня это часть повседневной жизни самых обычных людей, а не только ранних энтузиастов новых технологий. Однако есть пользователи, которые по-прежнему испытывают существенные трудности при взаимодействии с современными информационными технологиями. Они вынуждены преодолевать большой порог вхождения, осваивать не самые простые дополнительные инструменты и нетривиальные способы взаимодействия с компьютерной техникой, а также постоянно сталкиваются с неудобными или просто неработоспособными интерфейсами.

Привет, Хабр. Меня зовут Никита, я помогаю коллегам из Яндекса с технической экспертизой по вопросам accessibility. В этой статье я хочу поделиться результатами очередного исследования технических предпочтений пользователей с нарушениями зрения, которое предназначено для специалистов, работающих в сфере цифровой доступности. О подобном исследовании я рассказывал в 2020 году.

Всем привет! Меня зовут Артём Полуян, я руководитель системных аналитиков в SM Lab. В этой статье хочу поделиться одной любопытной статистикой, которую мне удалось собрать за два года. 

Что за статистика и откуда она у меня взялась? Дело в том, что у меня есть своего рода хобби: раз в три месяца я провожу тренинг по менторству (наставничеству) для сотрудников нашего департамента системного анализа. За два года я провёл девять таких тренингов, которые посетило суммарно около ста системных аналитиков и аналитиков данных. 

На тренинг приходят ребята с самым разным опытом. Кто-то только готовится стать ментором в своей команде, а кто-то, уже имея некоторый опыт, приходит обменяться экспертизой с коллегами. Формат мероприятия больше напоминает дискуссии, в рамках которых определяются оптимальные варианты выхода из различных ситуаций, в которых может оказаться ментор. 

На всякий случай обозначу, кто такой ментор в нашем понимании. Ментор — опытный участник команды, который прикрепляется к новому сотруднику (менти) для осуществления онбординга. Тут у нас всё примерно так же, как и в любых современных IT-компаниях. 

Заказчику задачи в конечном счёте всё равно, какой методологией управления разработкой пользуется команда исполнителей - точная дата получения результата для него важнее.

Чтобы называть эту дату более обоснованно, необходимо понимать, как на самом деле работает команда: сколько поставляет задач, как долго проходит процесс анализа задачи перед взятием в работу, на каких этапах в целом происходит "застревание" задачи.

Под катом - описание метрик и способы их расчёта.

Финансовые данные — одни из самых популярных данных для анализа сегодня. Однако применимы ли классические методы статистического анализа для работы с финансовыми данными? В данной статье мы обсудим ключевые свойства данных о доходностях финансовых активов и поговорим о подводных камнях при работе с ними. Мы увидим, что некоторые "нестандартные" свойства распределения доходностей финансовых активов делают классические статистические подходы плохо применимыми и не надежными при работе с данными такого вида. Мы предложим глубокое и полное объяснение описанных фактов с математической точки зрения.

В прошлой статье мы рассматривали неочевидные проблемы АБ тестирования и как можно с ними справляться [ссылка]. Но часто бывает так, что при внедрении новой функциональности АБ тестирование провести нельзя. Например, это типично для маркетинговых кампаний нацеленных на массовую аудиторию. В данной ситуации существует вероятность того, что пользователи контрольной группы, которым недоступна рекламируемая функциональность, начнут массово перерегистрироваться. Также возможен сценарий, при котором возникнет значительное количество негативных отзывов из-за воспринимаемой дискриминации. Но задача оценки таких нововведений одна из наиболее частых, которые приходится решать аналитикам. Если метрики только улучшаются, то это обычно легко объяснить хорошей работой, а если метрика ухудшилась, то сразу появляется задача на аналитика. В этой заметке мы рассмотрим первую часть задачи - а действительно ли метрика упала и если да, то имеет ли смысл разбираться дальше?

....При прочих равных мужчина выберет место между женщин, женщина же...

....тоже выберет место между женщин, если она не навеселе и не ищет приключений.

Раз в месяц я и команда QA Studio вручную собираем статистику по вакансиям и резюме тестировщиков с нескольких ресурсов. Сегодня — статистика за декабрь 2023. Мы не делаем выводы, а оставляем сухие цифры. Много или мало открытых вакансий и что с рынком — каждый может интерпретировать по-своему.

Первый ролик на YouTube был загружен в далёком 2005 году. С тех пор сервис стал частью Google, это один из наиболее популярных в мире сервисов. Но насколько он большой, кто может подсчитать? Официальной статистики корпорация не даёт, так что приходится всё делать своими руками.

Именно так и поступили исследователи, одним из которых является доцент кафедры государственной политики, коммуникаций и информации Массачусетского технологического института (MIT), сооснователь блог-агрегатора Global Voices, интернет-активист и блогер Итан Цукерман (Ethan Zuckerman). Он с коллегами и подсчитал, что сейчас на сервисе опубликовано свыше 13,325 млрд роликов. О методике подсчёта и других нюансах — под катом.

2023 год стал годом больших технологических достижений. Мы стали свидетелями роста популярности ChatGPT и других моделей генеративного искусственного интеллекта, Apple наконец-то выпустила свою долгожданную гарнитуру XR — Vision Pro, Sony выпустила новый контроллер Access для PS5, было открытие Сферы в Лас-Вегасе и много других инноваций в роботехнике, энергетике, 3D-печати, производстве электроники и в области квантовых компьютеров. Но ничто не вечно, особенно в Кремниевой долине. И пока одни празднуют успехи, есть продукты и услуги из мира IT, для которых год был не просто неудачным, а фатальным.

Время идёт, и корпоративные приоритеты меняются. Продукты и услуги регулярно выходят из строя, причем многие без всякого ажиотажа. Здесь список тех, которые потерпели последний крах в 2023 году. В этом списке есть технологии, которые прожили долгую и здоровую жизнь, те, которые ушли в расцвете сил, а также те, которые были сняты с производства или отключены, потому что вообще остались незамеченными.

Вы когда-нибудь задавались вопросом, как узнать, насколько хорошо работает ваша рекламная кампания, ваш новый продукт или ваша стратегия игры? Например, если вы запустили рекламу на сайте и хотите узнать, увеличилась ли конверсия клиентов после этого. Или если вы выпустили новый вкус чипсов и хотите узнать, нравится ли он покупателям больше, чем старый. Или если вы играете в монетку и хотите узнать, не жульничает ли ваш соперник, подбрасывая монету с двумя орлами. Для всех этих ситуаций вам может пригодиться биномиальный тест!

Биномиальный тест - это статистический метод, который позволяет сравнить долю успехов в двух группах и проверить, есть ли между ними значимая разница. Успехом может быть любое событие, которое имеет два исхода: да или нет, купил или не купил, орел или решка и т.д.

Итак, 2023 год. Обнаружена планета с высокой вероятностью существования жизни, на 3D‑принтере учатся печатать сердце, сделаны шаги в борьбе с раком и деменцией, одобрили первое лекарство от болезни Альцгеймера и разработали препарат от болезни Бехтерева, пересадили глаз целиком, запустили GPT-4 и целую кучу нейронок — и это только малая часть итогов года. 2023, как и все остальные, дал нам много нового в науке, карьере, что‑то изменил у каждого в жизни. Менялся и Хабр: где‑то заметно, где‑то не очень, на уровне логики, чтобы каждому пользователю стало чуть быстрее и чуть приятнее. Традиционно в конце года мы всех посчитали и делимся самым важным с самыми важными — с пользователями, читателями и гостями Хабра.

Некоторое время назад мы начали мониторинг статистических и экономических показателей в рамках нашего проекта SETEWIKI, в котором мы отслеживаем состояние «здоровья» российской связи.  

Сегодня мы предлагаем вашему вниманию первые наблюдения по итогам работы раздела «Экономика связи РФ», в котором собраны данные с 2014 года по нескольким направлениям:

Сегодня я расскажу про hippotable — удобный инструмент для анализа данных. Мне часто нужно поковыряться в датасете среднего размера (1–100 Мб), чтобы ответить на довольно простые вопросы. Ни один из существующих инструментов (bash, google sheets, jupyter + pandas) не показался мне особо подходящим для такой задачи, и я... решил сделать свой! Хотел поделиться результатом, показать пару интересных JS-инструментов для обработки и отображения данных, и рассказать, как дальше планирую развивать продукт. Запрыгивайте, будет интересно.

Продолжение первой части статьи о создании торгового бота на python с нуля с использованием Binance API!

В данной статье мы напишем полностью рабочую реальную стратегию с использованием биржевых данных. Я расскажу что такое линии Боллинджера, а также о других популярных стратегиях. Мы подробно разберем реализацию стратегии Боллинджера на python, и напишем production-ready код!

Для начинающего специалиста, входящего в мир ИТ, одной из приоритетных задач трудоустройства является отработка и получение навыков хотя бы в одном (а лучше нескольких) языках программирования.

Мой опыт через решение алгоритмических задач показал, что этот метод помогает развить системное мышление. В жизни и в работе данный навык очень важен, поскольку существуют задачи, требующие нестандартного подхода к их решению.

Востребованность языков программирования постоянно меняется. Какие-то с течением времени остаются актуальными, а часть постепенно прекращает использоваться и уходит с рынка. Есть, конечно, долгожители вроде COBOL, но их не так много. Тем не менее некоторые ЯП находятся в топах разных рейтингов годами, то теряя пару позиций, то восстанавливаясь. Сейчас конец 2023 г., поэтому самое время посмотреть, какие языки на данный момент самые популярные. Подробности — под катом.