Данные. Они повсюду и их становится только больше. За последние 5-10 лет data science привлекла множество новичков, пытающихся ощутить вкус этого запретного плода.

Но как сегодня выглядит ситуация с наймом в data science?

Вот краткое изложение статьи в двух предложениях.

TLDR: в компаниях на 70% больше вакансий на должности дата-инженеров, чем на должности дата-саентистов. Так как мы обучаем новое поколение практиков в сфере обработки данных и машинного обучения, давайте сделаем больший упор на инженерные навыки.

Так как моя работа заключается в разработке обучающей платформы для профессионалов в области данных, я много думаю о том, как эволюционирует рынок вакансий, связанных с данными (машинное обучение и data science).

Общаясь с десятками перспективных новичков в сфере данных, в том числе и со студентами лучших вузов мира, я увидел серьёзное недопонимание того, какие навыки являются наиболее важными, помогают выделиться из толпы и подготовиться к карьере.

Дата-саентист может работать в любом сегменте следующих сфер: моделирование машинного обучения, визуализация, очистка и обработка данных (например, преобразование данных для SQL), проектирование и развёртывание на производстве.

С чего вообще начинать рекомендации курса обучения для новичков?

Данные говорят громче слов. Поэтому я решил провести анализ должностей в сфере данных, на которые есть вакансии у компаний, выходивших из Y-Combinator с 2012 года. Вопросы, которыми я руководствовался в своих исследованиях:

В свои первые годы Интернет сильно отличался от современного. Большинство людей бы его не узнало, в основном он состоял из электронных досок объявлений (bulletin board systems) без мультимедиа, за исключением нескольких изображений низкого разрешения. Эти системы досок были разделены, и до каждой нужно было дозваниваться по отдельности.

Интернет сильно изменился благодаря появлению World Wide Web. Все эти ранее отделённые системы соединились, но миру требовался способ их просмотра (браузинга) — нужен был «веб-браузер». В апреле 1994 года Марк Андриссен и Джеймс Кларк основали Mosaic Communications Corporation. Словом Mosaic назвали программное обеспечение, позволявшее пользователям получать доступ к различному содержимому веба. Андриссен работал над этим проектом, пока сотрудничал с National Center for Supercomputing Applications (NCSA) Университета Иллинойса.

Суть мониторинга

Весь телеком-бизнес основан на данных, и Билайн не исключение. Данные генерируются как внутри, так и снаружи: в OSS-системах (события на оборудовании, сетевой трафик), в BSS-системах (клиентские транзакции, маркетинговые кампании), на платформах Яндекс, Google и других. Общее количество систем, с которыми работает компания, исчисляется сотнями.

Чтобы извлекать пользу из всех этих данных, в Билайн с 2014 года существует и развивается платформа для их обработки. Считаю полезным для ИТ-сообщества делиться опытом, поэтому начинаю цикл статей о платформе обработки данных в Билайн.

Этот пост является первым. Поэтому для старта я кратко расскажу о роли платформы в реализации стратегии компании, предоставляемых возможностях (capabilities) и основных характеристиках. В последующих постах я буду более детально останавливаться на каждом элементе, иногда даже с погружением в отдельные компоненты.

Началом существования платформы обработки данных принято считать то время, когда в Билайн начали стартовать первые digital-проекты, основанные на аналитике данных. Платформа была создана как лаборатория: состав технологий мог меняться с каждой новой задачей, объем оборудования определялся глубиной данных, необходимых конкретным продуктовым командам. Тогда же начала формироваться команда девопс-инженеров, в руках которой и по сей день находится эксплуатация платформы.

• Как однажды мне на месяц заблокировали доступ к аккаунту Google
• Каково это — бессрочно быть заблокированным в Google
• Apple Card отключила мои аккаунты iCloud, App Store и Apple ID [перевод на Хабре]
• GitHub заблокировал всю компанию, потому что один её сотрудник находился в Иране

Как сохранить контроль над своими данными и инструментами

В 2018 году в России отменили внутрисетевой роуминг, чтобы сделать жизнь абонентов проще. Теперь, если вы приезжаете в какой-то другой регион, то все ваши звонки на номера этого региона будут считаться «домашними» и тарифицироваться соответственно. И вроде бы всё просто. Но страна у нас большая, областей много, и ряд сложностей возникает именно на границах этих областей из-за специфики работы базовых станций.

Представьте себе ситуацию. Вам надо съездить в командировку в Москву из Ростова-на-Дону. Пока вы в Москве или Московской области, все ваши звонки на номера этого региона будут локальными, тут всё ясно и проблем нет. Ваши звонки будут междугородними только тогда, когда вы позвоните из Москвы домой, в Ростов-на-Дону. Здесь тоже пока всё понятно.

А вот когда вы окажетесь на границе с Тверской областью, возможны нюансы. Вы знаете, что вы именно на границе с Тверской областью, причем всё ещё на стороне Московской области. А ваш смартфон уже коварно прицепился к базовой станции Тверской области. Поэтому при таком звонке в Москву система будет уверена, что совершается междугородный звонок, из Тверской области в Москву, и денег за него снимут больше, чем планировалось.

Но вы-то понимаете, что физически вы не пересекали границу Тверской области, и происходящее — вообще не ваши проблемы. Более того, такие ситуации часто возникали у людей, которые постоянно живут на границе областей с разными БС.

Мы исправили это. Теперь у людей, который живут в подобных местах вблизи границ областей, а также туристов и путешественников не будет проблем с неправильным определением региона и, как следствие, никаких лишних списаний за совершенные звонки. О том, как мы это сделали — под катом.

Привет! В этой статье я расскажу о ещё двух вариантах VPN, используемых нами для включения клиентов с помощью Мультисим Резервирования, это L2TP и L2-VPN. Первый используется для включения сервисов Интернет, второй для включения каналов L2 MPLS.

Самый первый — L2TP

Исторически этот вариант был самым первым внедренным вариантом для предоставления сервиса Интернет клиентам, именно на нем мы обкатывали все бизнес-процессы включений, набивали первые шишки со сложностью настройки СРЕ, процессами активации Sim-карт и прописывания их в выделенные APN, выбирали наиболее оптимальные варианты настроек и конфигураций СРЕ и РЕ оборудования, суммарно за первые полгода мы подготовили восемь различных версий конфигураций оборудования. Такой итеративный подход позволил найти баланс между потребностями клиентов и нашими возможностями, мы посмотрели, что и как стоит настраивать, как выстроить процессы, а за что лучше не браться вообще.

Перед открытием нового бизнеса, смены логотипа, расширением ассортимента или запуском рекламной кампании хорошо бы заранее знать главное — как воспримут ваши действия будущие покупатели? Будут ли новшества или активности иметь успех? Сработает ваша бизнес-модель, понравится ли пользователям новый логотип, или от него в восторге только дизайнеры? Принесет рекламная кампания пользу или проделает дыру в бюджете?

Давайте же вспомним, чему нас учит маркетинг? Продавать нужно то, что будет непременно куплено. 

Мы предлагаем новый инструмент для вашего бизнеса, «Мобильные опросы», который поможет еще до старта оценивать эффективность ваших идей. Пригодится как крупным компаниям, так и стартапам.

Появление услуги летом 2020 года вызвало немало вопросов на рынке, хотя появление такого продукта выглядит очень логичным, а методология и результаты — прозрачными. При наличии большого количества инструментов себестоимость продукта удалось сделать в несколько раз меньше, чем у компаний, собирающих данные по классическим методикам. Это объясняется несколькими причинами: во-первых, мы не содержим штат интервьюеров и верификаторов, эти функции заменили современные инструменты: BigData и развитая платформа обработки данных. Во-вторых, сами данные — нам не надо закупать сторонние базы данных для совершения обзвонов (мы вообще никому не звоним с опросами), у нас есть собственная база, которую можно сегментировать по более чем 700 параметрам, и направлять предложение пройти опрос прямо на телефон. Ещё одно важное преимущество в том, что опросы можно теперь проводить по всей России, даже там, где это было ранее просто физически невозможно. Например, в регионах и малых поселениях.

Все вместе работает очень быстро, без ошибок и значительно дешевле, что не может не радовать малый и средний бизнес, ведь данные инструменты им раньше были в принципе недоступны.  

Зачем вообще нужен WAF

Первые операции по 5G в России

1. Первая операция – извлечение NFC-чипа, вживленного в руку Джорджа Хелда, исполнительного вице-президента по развитию цифрового и нового бизнеса Билайн. С самим чипом, как и с рукой Джорджа, все в порядке, просто чип успел к тому времени морально устареть (его устанавливали в 2015-м году).
2. Вторая операция (удаление раковой опухоли у одного из пациентов клиники) проводилась с использованием подключенного к 5G-сети лапароскопа с 4К-камерой, анестезиологического пульта, нескольких камер и мультимедийной «белой доски» Huawei 5G для обмена экспертными мнениями всеми сторонами консилиума и выработки рекомендаций в режиме реального времени.

Как всё работало

DDoS-атаке может подвергнуться любой ресурс. Чаще всего атаки носят целенаправленный характер — злоумышленники могут пытаться положить сайт с какой-то информацией (разного рода СМИ и сайты с ТВ-трансляции сталкивались с подобным, и не раз). Предприятия торговли и банки тоже страдают от этого, для них простой систем довольно критичен, люди привыкли заходить в приложение банка или интернет-магазина и в пару кликов переводить деньги или покупать товары. Поэтому здесь и очевидные финансовые потери, и снижение лояльности клиента сразу.

Если даже у вас средний бизнес, а не магазин с тысячами товаров, DDoS все равно штука не очень приятная, которую хорошо бы предотвращать. Да и, кроме DDoS, общий уровень информационной безопасности стоит поддерживать. Особенно сейчас, когда многие компании перешли на удаленку, и часть сотрудников работает не только с корпоративных ноутбуков, но и с личных.

Мы в Билайн.Бизнес начинаем предоставлять услугу под названием «Защита от DDoS атак NetFlow». В этом посте мы расскажем, что это и как работает.