Статистика в IT

Сегодня все чаще малый и средний бизнес отдает некоторые работы на аутсорсинг, это может быть клининг, бухгалтерия, поиск и найм необходимого кандидата или реализация работ для заказчика, которые компании выгоднее отдать на аутсорсинг чем выполнять самостоятельно. Причин в общем то много, порой на аутсорсинг отдают целые бизнес-процессы - например продажи.

Чаще всего в таких случаях мы говорим о достаточно простых и понятных процессах, в которых не нужны высококвалифицированные специалисты. Это действительно снижает затраты и дает возможность компаниям нарастить свои обороты. Тем не менее, такой тип работы с аутсорсингом больше похож на “крутить педали сильнее и быстрее” или “купить 2 велосипеда вместо одного” вместо того, чтобы пересесть в автомобиль и двигаться вперед в совершенно ином темпе. 

Привет, Хабр! Я очень долго собирался с мыслями, чтобы попробовать опубликовать свою статью в вашем сообществе, это дебют, поэтому буду рад услышать в комментариях обратную связь по поводу содержимого материала. Тематика сегодняшнего сообщения – это разбор базовых понятий в теории вероятности с помощью языка программирования Python.

Прежде чем приступить к изложению базовых понятий немного расскажу о себе, о профессиональном опыте, чтобы вы могли иметь представление об авторе. Я окончил Уральский Федеральный Университет по направлению бизнес-информатика и сейчас работаю младшим научным сотрудником в Институте экономики Уральской Академии наук (г. Екатеринбург). В основном направление, по которому я обучался, опиралось на моделировании бизнес процессов. Было конечно немного статистики и теории вероятности, но по мере своего профессионального роста знаний, полученных в университете, мне оказалось недостаточно, поэтому сейчас я вспоминаю изученный материал и постепенно изучаю новый. В качестве такого своеобразного отчёта о проделанной работе принял решение публиковать небольшие статьи здесь. Надеюсь для новичков, которым собственно я и являюсь по сегодняшний день данный материал будет полезен.

За основу для изучения взял оксфордский учебник на английском языке «Bayesian Statistics for Beginners» (автор Therese M и Ruth M.Mickey). Если у вас есть какие-то базовые знания по математике, которые вы хотите углубить или вспомнить данная книга как раз для вас. Мне очень понравилось её необычное изложение в форме интервью, достаточно простой английский (для уровня B1-B2). Думаю, если вы часто читаете документацию на английском языке или ещё лучше научную литературу, учебник можно осилить практически без словаря. Сама книга – цветная, читать формулы – одно удовольствие. В общем зарекомендовал как мог.

Приветствую тебя, дорогой друг! Эта публикация была создана для тебя, если ты хотел бы разобраться с этими непонятными словами из заголовка раз и на всегда. Как с идейной, так и с математической стороны. Признаюсь сразу, в свое время в универе частенько прогуливал семинары по высшей математике где-нибудь в приятном заведение со вкусной едой и хорошей музыкой или вообще дома, занимаясь чем-то "уникальным" и "сверхполезным". Но жизнь оказалась более ироничной, чем я думал. Сейчас я работаю продуктовым аналитиком в @IDFinance и познаю мат. статистику заново. И теперь уже с горящими глазами. Дается местами она не просто, а особенную трудность испытываю, когда хочу найти в интернете простые и понятные материалы по необходимой теме. Собственно, это меня и побудило написать данную статью, включающую в себя всю математику, почему она так работает и как это вообще запрограммировать.

Пришло время для еженедельного дайджеста самых популярных новостей прошедшей недели, основанного на реакции пользователей Хабра. В подборку попадают новости с самыми высокими показателями по рейтингу и просмотрам. На прошлой неделе в центре внимания читателей были новости о родителе из Франции, случайно блокировавшем связь в нескольких городках вместо одной детской спальни, авторские права на фотографию камня на Марсе, крошечный компьютер с механической клавиатурой на Raspberry Pi, профсоюз в Apple и не только.

Задавшись таким вопросом, новички гуглят рейтинги популярности языков. Кажется логичным, однако большинство исследований о популярности того или иного языка строятся на основе выдачи поисковиков, соцсетей, сайтов с вакансиями и крупных сообществ разработчиков. То есть туда попадает и Google Search, и Twitter, и Reddit — довольно «грязная» выборка.

Чтобы увидеть реальную картину, стоит подумать: почему тот или иной язык внезапно набирает популярность? Иногда причина частого упоминания в интернете не имеет отношения к востребованности языка. Так, например, в ежегодном рейтинге языков программирования Института инженеров электротехники и электроники (IEEE) за 2020 год язык COBOL неожиданно занял 7-е место по популярности в Twitter. А произошло это потому, что в апреле 2020 года в самый разгар пандемии COBOL часто мелькал в новостях Twitter, когда губернатор Нью-Джерси Фил Мёрфи объявил, что штат отчаянно нуждается в добровольцах, обладающих навыками работы с COBOL. Это объявление вызвало много удивления. Оказалось, что американская система страхования была перегружена из-за всплеска заявок на пособие по безработице, что привело к задержке в обработке дел, так как было недостаточно программистов, знакомых с языком из эпохи динозавров. Это и стало причиной частого упоминания, но сам язык не стал популярнее среди разработчиков.

Украинский профильный ресурс DOU.UA провел очередной ежегодный опрос о языках программирования.

Python уже второй год подряд демонстрирует негативную динамику. Java тоже теряет позиции – в этом году она на третьем месте по популярности. На второе место поднялся язык C#. Доля JavaScript после небольшого падения в 2021 году снова растет. Но самая лучшая динамика у TypeScript (уже более 10% и прирост увеличился почти вдвое).

Пришло время для еженедельного дайджеста самых популярных новостей прошедшей недели, основанного на реакции пользователей Хабра. В подборку попадают новости с самыми высокими показателями по рейтингу и просмотрам. На прошлой неделе в центре внимания пользователей были новости о лишении WebMoney лицензии на осуществление банковских операций, первые снимки «Джеймса Уэбба», выход из строя 40 спутников Starlink, Windows 11 и телевизор за $3 тысячи, интерфейс которого переполнен навязчивым рекламным контентом.

Пришло время для еженедельного дайджеста самых популярных новостей прошедшей недели, основанного на реакции пользователей Хабра. В подборку будут попадать новости с самыми высокими показателями — рейтинг и просмотры. На прошлой неделе в центре внимания пользователей были новости о блокировке аккаунтов iOS-разработчиков в Республике Беларусь, нейросети, пишущие программу не хуже среднего программиста, «Джеймс Уэбб», криптовалюты, российский «Эльбрус» и не только.

Вакцинация, туризм, инвестиции в криптовалюту, крупные спортивные соревнования, киноновинки и подписки на популярные сервисы — в топе тем, которые активнее всего эксплуатируются в фишинговых атаках по версии Positive Technologies. Какие схемы кибермошенничества стали самыми популярными в 2021 году, читайте в горячей подборке от наших аналитиков.  

Полезные рекомендации и векторы будущих кибератак — в конце статьи.

Уже несколько лет подряд мы в Hays проводим исследования рынка труда и формируем отчёты, где смотрим на основные тренды по разным отраслям. Спрашиваем о том, что волнует всех: зарплаты, перспективы, условия труда и мотивация. Результаты этих исследований позволяют увидеть свою сферу со стороны и понять, куда движется индустрия.

В 2020-м мы заметили бум в информационных технологиях, но мало кто знает, что прогнозировался ещё рост агроиндустрии и медицины. Отследили, как проблема дефицита квалифицированных кадров снизила требования к образованию линейных работников, но при этом увеличила спрос на квалифицированных сейлзов и узкопрофильных сотрудников. И, конечно, как пандемия заставила работодателей пересмотреть способы мотивации сотрудников.

Каким был 2021-й? Мы проводим опрос среди айтишников. Но к нему позже, а пока — немного фактов из жизни IT-индустрии в 2020 году (для наглядности добавим несколько сравнений с 2019-м). Приведённые ниже данные были получены на основании опроса 7 865 человек, из них 958 говорили от имени компаний-работодателей на территории РФ.

Кстати, в итоги обоих исследований мы включили обзор зарплат по отраслям. Найти данные по своей сфере и сравнить зарплаты можно здесь — за 2019 год — и здесь — за 2020-й.

Запускаем еженедельный дайджест самых популярных новостей прошедшей недели, основанный на реакции пользователей Хабра. В подборку будут попадать новости с самыми высокими показателями — рейтинг и просмотры. На прошлой неделе в центре внимания пользователей были массовые увольнения сотрудников в компаниях Skillbox и Geekbrains, прибытие «Джеймса Уэбба» на L2, блокировка документа с цифрой 1 от Google Docs и не только.

Украинский ресурс DOU.UA в декабре 2021 года провел большой опрос среди украинских ИТ-специалистов о работе и зарплатах.

Всего собрали 8005 анкет от разработчиков разных уровней: от Intern до Architect. Предлагаем вашему вниманию первую статью по результатам этого опроса – зарплаты разработчиков.

Из интересного - это полугодие рекордное по уровню роста зарплат, особенно это касается опытных специалистов. Медианные зарплаты архитекторов пересекли отметку в $6000, зарплата у Senior Java увеличилась на $800, но самая высокая медиана среди языков программирования до сих пор у Scala-разработчиков – $5300.

К старту флагманского курса по Data Science делимся небольшим исследованием о зарплате на основе данных опроса Stack Overflow, а также очень кратко знакомим читателей с библиотекой построения байесовских моделей Bambi. За подробностями приглашаем под кат.

Регрессия к среднему – это распространенный статистический феномен, который может наводить нас на ошибочные выводы, когда мы наблюдаем, что происходит в мире. Умение распознавать, в каких случаях мы имеем дело именно с регрессией к среднему, помогает избежать ложной интерпретации данных и не замечать паттернов там, где их нет.

20 января «Интерфакс» публикует новость, что ФСБ убедило главу Центробанка РФ (ЦБ) Эльвиру Набиуллину поддержать полный запрет на криптовалюты и майнинг. Эту информацию издание получило от внутренних источников Bloomberg, которые объясняют инициативу ФСБ ростом популярности выплат в адрес российской оппозиции и СМИ-иноагентов. В тот же день ЦБ представляет общественности 37-страничный отчёт по криптовалютам, в котором предлагает запретить майнинг и криптовалюты в РФ, а также усилить надзор за их оборотом. Мы сделали выжимку из этого документа с основными тезисами и последними данными по статистике рынка криптовалют, представленными ЦБ.

Помните сентябрьскую DDoS-атаку на Хабр? К старту курса по этичному хакерству делимся отчётом Cloudflare за последний квартал прошлого года, чтобы лучше понимать, к чему готовиться сегодня.

В этом обзоре мы рассмотрим, как методы LIME и SHAP позволяют объяснять предсказания моделей машинного обучения, выявлять проблемы сдвига и утечки данных, осуществлять мониторинг работы модели в production и искать группы примеров, предсказания на которых объясняются схожим образом.

Также поговорим о проблемах метода SHAP и его дальнейшем развитии в виде метода Shapley Flow, объединяющего интерпретацию модели и многообразия данных.

Реализация алгоритма k-средних на диалекте SQL без питонов и дополнительных библиотек.