Как стать автором
Обновить
117.67
Рейтинг
Сначала показывать
  • Новые
  • Лучшие

Как автоматизировать администрирование Hadoop, чтобы не было мучительно больно

Блог компании МТСВысокая производительностьBig DataHadoopData Engineering

Привет, Хабр! Меня зовут Александр Черемухин, я тимлид администраторов Hadoop в Big Data МТС. Мы прошли довольно длинный эволюционный путь в автоматизации администрирования и хотелось бы им поделиться с сообществом. Возможно наш опыт пригодится и другим специалистам, работающим с Hadoop.

Читать далее
Всего голосов 8: ↑8 и ↓0+8
Просмотры1.2K
Комментарии 2

Из экономистов в дата-сайнтисты или как стать лидером рейтинга Kaggle Notebooks

Блог компании МТСМашинное обучениеКарьера в IT-индустрииIT-компании

Привет! Меня зовут Андрей Лукьяненко. В команде центра искусственного интеллекта МТС  я занимаюсь проектом улучшения разрешения видео (super resolution): например, из видео в формате 1k мы делаем хорошую “картинку” 4k, которую можно показывать на большом экране. 5 лет назад я решил освоить новую профессию: оставил работу в ERP-консалтинге и начал учиться машинному обучению. За это время я не только стал профессионалом в новой области, но и занял 1 место в международном рейтинге Kaggle Notebooks. Зачем я потратил сотни часов на выполнение конкурсных заданий и к чему меня это привело, расскажу в этой статье.

Читать далее
Всего голосов 13: ↑12 и ↓1+11
Просмотры14K
Комментарии 2

TensorFlow vs PyTorch в 2021: сравнение фреймворков глубокого обучения

Блог компании МТСPythonМашинное обучениеИскусственный интеллектTensorFlow

Всем привет! Меня зовут Дмитрий, я занимаюсь разработкой в области компьютерного зрения в команде MTS AI. Так исторически сложилось, что в своей работе я использую, как правило, связку устаревшей версии TensorFlow 1 и Keras. Пришло время двигаться дальше, но прежде чем полностью перейти на TensorFlow 2, я решил сравнить наиболее популярные на сегодня фреймворки глубокого обучения: TensorFlow и PyTorch. Эта статья будет полезна всем Data Scientist'ам, кто желает узнать чуть больше про особенности и производительность TensorFlow и PyTorch.

Читать далее
Всего голосов 12: ↑11 и ↓1+10
Просмотры24K
Комментарии 8

Туториал по uplift моделированию: метрики. Часть 3

Блог компании МТСData MiningМатематикаМашинное обучениеИскусственный интеллект
Tutorial

В предыдущих туториалах (часть 1, часть 2) мы изучали методы, моделирующие uplift. Это величина, которая оценивает размер влияния на клиента, если мы взаимодействуем с ним. Например, отправляем смс или пуш уведомление. Давайте обсудим: как измерять качество uplift моделей?

Читать про uplift метрики
Всего голосов 8: ↑7 и ↓1+6
Просмотры20K
Комментарии 0

Атаки злоумышленников и уязвимости. При чем здесь коммерческий SOC?

Блог компании МТСИнформационная безопасностьТестирование IT-системАнтивирусная защитаОблачные сервисы

Введение


Делая выбор в пользу подключения к SOC (Security Operations Center), компания, зачастую, рассматривает провайдера как «подстраховку» в работе со сложными инцидентами и угрозами, справиться с которыми своими силами для нее потенциально было бы затруднительно. При этом часто бывает, что уже на этапе пилотного тестирования сервиса проявляются узкие места или критичные недоработки в существующей стратегии обеспечения информационной устойчивости цифровых активов. Именно поэтому SOC – это совместный «путь», где компания и провайдер сервиса идут рука об руку, дополняя и помогая друг другу на всей дистанции.



Рис. 1. Распространенные слабые места у компаний

Мы накопили многолетний опыт по обеспечению информационной безопасности: как своей собственной, так и наших клиентов. И хотим им поделиться с читателями. В рамках этой статьи будут приведены несколько кейсов, успешно предотвращенных нашим коммерческим SOC. Из них можно извлечь для себя немало полезного.
Читать дальше →
Всего голосов 2: ↑1 и ↓10
Просмотры26K
Комментарии 4

OpenTelemetry на практике

Блог компании МТС
Совсем недавно два стандарта – OpenTracing и OpenCensus – окончательно объединились в один. Появился новый стандарт распределенного трейсинга и мониторинга – OpenTelemetry. Но несмотря на то, что разработка библиотек идет полным ходом, реального опыта его использования пока не слишком много.

Илья Казначеев color, который занимается разработкой восемь лет и работает backend-разработчиком в МТС, готов поделиться тем, как применять OpenTelemetry в Golang-проектах. На конференции Golang Live 2020 он рассказал о том, как настроить использование нового стандарта для трейсинга и мониторинга и подружить его с уже существующей в проекте инфраструктурой.
Читать дальше →
Всего голосов 11: ↑10 и ↓1+9
Просмотры14K
Комментарии 5

Контроль соблюдения контракта API — ограничения или возможности

Блог компании МТСAPI
Из этой статьи вы узнаете, какие преимущества предоставляет контроль контракта API, что можно и нужно контролировать и как организовать процедуры контроля для исключения негативного влияния на производство.

Когда в 1825 году Англия первыми из всех запустила железнодорожное сообщение между городами, мир еще жил по солнечному времени, ориентируясь на полдень – момент верхней кульминации солнца. Фактическая разница во времени между городами в одной географической полосе могла достигать 30 минут. Отсутствовала синхронизация.

Поезд, который отправлялся из Лондона в 12:00 по местному времени и должен был прибыть в Бристоль в 13:00, по местному времени прибывал в 13:30. Для местных жителей и пассажиров поезда это не было критичным явлением, но для компании-перевозчика, которая строит бизнес вокруг расписаний, планировать работу с каждым новым маршрутом становилось дорогим удовольствием. К стандартным проблемам, как опоздания, сбои в работе или аварии, прибавилась еще одна – каждый новый маршрут кратно увеличивал затраты на перевозку.

В итоге ввели специальный стандарт времени – железнодорожное время. Синхронизировали часы в каждом городе, где проходят пути. Решение было сложным и непопулярным среди жителей городов, но в итоге в 1880 году новый стандарт обрел правовой статус.
Читать дальше →
Всего голосов 5: ↑4 и ↓1+3
Просмотры30K
Комментарии 0

Big Data: архитектура w/vs инфраструктура

Блог компании МТС
В этой статье вы узнаете, как МТС решает задачи по хранению и обработке больших данных. Как архитектура платформы Big Data совместно с инфраструктурой помогает их решать более эффективно. А когда наоборот — инфраструктура выступает существенным ограничителем, влияющим на архитектуру платформы.

Меня зовут Сергей Косый komgbu, я работаю руководителем центра компетенций архитектуры в центре Big Data МТС. Я и многие мои коллеги очень любим две вещи: большие данные и велосипеды. На велосипедах предпочитаем ездить, а не изобретать их.



Читать дальше →
Всего голосов 7: ↑6 и ↓1+5
Просмотры17K
Комментарии 4

Применение микросервисной архитектуры в потоковой обработке Big Data

Блог компании МТСПрограммированиеАнализ и проектирование системBig Data
На Хабре вы можете найти множество статей применения данной архитектуры. Этой теме уже более 10 лет и, казалось бы, о чем же здесь еще говорить? Но я бы хотел не просто еще раз вспомнить об микросервисах, а рассказать о применении данной архитектуры именно в разрезе потоковой обработки Big Data. Попытаться объяснить, чем отличается модель потоковой обработки от классической трехуровневой. На реальном примере сравнить применение микросервисов и монолита.

Читать дальше →
Всего голосов 9: ↑6 и ↓3+3
Просмотры11K
Комментарии 1

Who is mr. Marvin?

Блог компании МТСГаджетыУмный домЗвукГолосовые интерфейсы
В июне этого года мы выпустили на рынок умную колонку с голосовым помощником по имени Марвин. Она может работать до 2 часов без подзарядки. У колонки шесть микрофонов для обработки голосовых команд. ПО полностью разработано внутри МТС без использования сторонних коммерческих решений. В этом посте разберем основные функции и технические характеристики новинки.


Читать дальше →
Всего голосов 16: ↑8 и ↓80
Просмотры3.1K
Комментарии 15

Не те игрушки: как мы научили нейросеть бороться с порно в стримах

Блог компании МТСМашинное обучениеИскусственный интеллектКиберспорт
🔥 Технотекст 2020
Всем привет, меня зовут Олег, я занимаюсь компьютерным зрением в команде Видеоаналитики МТС и сегодня расскажу вам, как мы защищаем от небезопасного контента стриминговую платформу WASD.tv, в частности про детектирование порнографии в постановке задачи action recognition.


Читать дальше →
Всего голосов 20: ↑17 и ↓3+14
Просмотры24K
Комментарии 45

Обзор на статью Visual Transformers — новый подход к тренировке моделей компьютерного зрения на основе visual tokens

Блог компании МТСАлгоритмыМашинное обучениеИскусственный интеллектIT-компании
Эта работа интересна тем, что авторы в ней предлагают новый подход к тренировке моделей на изображениях — использовать не только пиксели и свертки, но ещё и представлять изображения в виде визуальных токенов и тренировать на них трансформеры. По сравнению с использованием просто архитектуры ResNet предложенный подход уменьшает MAC (multiply and accumulate operations) в 6,9 раз и увеличивает топ-1 точность на 4,53 пункта на задаче классификации ImageNet.

image
Читать дальше →
Всего голосов 18: ↑17 и ↓1+16
Просмотры10K
Комментарии 2

Из чего состоит набор для разработчиков NB-IoT DevKit?

Блог компании МТСРазработка для интернета вещейРазработка под ArduinoИнтернет вещейDIY или Сделай сам
Набор вышел в начале июня. Он поможет разобраться, в чем преимущества сети интернета вещей NB-IoT, и научит работать с ней. В комплект входит аппаратная часть, коннективити, то есть доступ к сети NB-IoT и доступ к IoT-платформам. Главная «фича» DevKit – демонстрационная прошивка, которая позволяет на практике разобраться, как работает система. В этой статье детально рассмотрим DevKit и его возможности.



Кому это надо?


Когда мы начали разворачивать сеть NB-IoT (почитать больше о сети NB-IoT можно здесь), на нас со всех сторон посыпались различные вопросы. Крупные производители, которые много лет работают на рынке M2M устройств, стартапы, начинающие разработчики и просто любители интересовались режимами работы сети, протоколами передачи данных, даже управлением радиомодулем АТ-командами. Нас спрашивали, какие частоты (band) используются, как работает режим power save mode, как устройство и сеть согласуют соответствующие таймеры, как, используя протокол транспортного уровня UDP, добиться гарантированной доставки сообщения, как задать APN и выбрать определенный band (частотный диапазон). И множество других вопросов.
Читать дальше →
Всего голосов 6: ↑6 и ↓0+6
Просмотры18K
Комментарии 4

Как мы сделали не blockchain

Блог компании МТСДецентрализованные сетиРазработка мобильных приложенийРазработка под AndroidKotlin
Как с помощью smart-contract мы построили систему отбора лучших технологических проектов в ИТ МТС? И в какие «ловушки» мы попали, но смогли выбраться, доказав в итоге, что вести распределенный реестр на мобильных устройствах возможно!



Для чего понадобилась система на основе blockchain?


Начнем с самого начала. В МТС есть давняя традиция – выбирать лучший технологический проект, сделанный за год, и награждать его команду. Команда получает призы, уважение и славу. За долгие годы победителями становились различные проекты: от высоконагруженных телеком-систем до систем искусственного интеллекта.

Выборы лучшего проекта всегда происходили в несколько этапов:

  • Команды подают заявки
  • Проходит голосование уважаемых технических экспертов
  • После экспертов проекты отбирают руководители
  • По завершению всех этапов большой начальник выбирает лучший проект.

Мы решили, что данная схема недостаточно прозрачна для участников и подумали: почему бы не дать возможность выбирать лучший технологический проект абсолютно всем экспертам в компании? 

Читать дальше →
Всего голосов 10: ↑10 и ↓0+10
Просмотры19K
Комментарии 14

Kubernetes: open source против вендорского

Блог компании МТСОблачные вычисленияDevOpsМикросервисыKubernetes
Привет, меня зовут Дмитрий Краснов. Уже более пяти лет я занимаюсь администрированием кластеров Kubernetes и построением сложных микросервисных архитектур. В начале этого года мы запустили сервис по управлению кластерами Kubernetes на базе Containerum. Пользуясь поводом расскажу, что представляет собой этот самый Kubernetes и чем интеграция с вендором отличается от open source.

Для начала, что такое Kubernetes. Это система для управления контейнерами на большом количестве хостов. С греческого, кстати, переводится как «пилот» или «рулевой». Изначально разработана Google, после чего в качестве технологического вклада передана Cloud Native Computing Foundation, международной некоммерческой организации, которая объединяет ведущих мировых разработчиков, конечных пользователей и поставщиков контейнерных технологий.


Читать дальше →
Всего голосов 7: ↑4 и ↓3+1
Просмотры12K
Комментарии 19

Обзор на статью о FarSee-Net — новый подход к семантической сегментации в реальном времени

Блог компании МТСМашинное обучение
В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP) для семантической сегментации в реальном времени. Новый модуль CF-ASPP и использование super-resolution позволяют улучшить latency-accuracy trade-off. Обзор подготовил ведущий разработчик МТС Андрей Лукьяненко.

image

Семантическая сегментация в реальном времени очень нужна для многих задач, выполняемых на ограниченных ресурсах. Одна из больших сложностей — работа с объектами разных размеров и использованием контекста. В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP).

В наше время распространенным подходом является быстрое уменьшение размера изображений на начальных этапах, а затем маска исходного размера получается с помощью upsampling. Авторы предлагают использовать подходы super-resolution вместо простого upsampling.

Новый модуль и использование super-resolution позволяет улучшить latency-accuracy trade-off.
Читать дальше →
Всего голосов 12: ↑12 и ↓0+12
Просмотры18K
Комментарии 3

Как у российских полярников появилась сотовая связь в Антарктиде

Блог компании МТСБеспроводные технологииРазработка систем связиСтандарты связиСотовая связь
В начале 2020 года МТС первым из российских операторов запустил сотовую связь в Антарктиде. Чтобы добраться до ледяного континента, специалисты компании прошли обучение для моряков и выдержали жесткую медкомиссию, а затем были включены в состав 65-й Российско-Антарктической экспедиции. Дальше был самолет до Кейптауна, оттуда 10 дней на судне и вертолет до станции «Прогресс». Как проходило это увлекательно путешествие и что за оборудование установили в Антарктиде — рассказывает один из участников экспедиции – старший инженер МТС Роман Левин.



Читать дальше →
Всего голосов 57: ↑56 и ↓1+55
Просмотры18K
Комментарии 68

Checklist для архитектора

Блог компании МТСАнализ и проектирование системУправление разработкойКонференции
Из этой статьи вы узнаете, как организовать процесс построения эффективной разработки в распределенной цифровой компании, как сделать это через общение экспертов и как это происходит на примере МТС.

МТС, как и многие другие современные компании, подверглась так называемой цифровой трансформации. Говоря простым языком, нашим приоритетом стал запуск цифровых процессов и продуктов.

Для меня, как для технаря, это значит, что направление бизнеса в компании целиком зависит от качества ИТ-систем и их способности к быстрому эволюционированию.

Конечно, это неправильное определение, и маркетологи могут со мной поспорить — и даже переспорить! Но для всего, что вы прочитаете ниже, его вполне достаточно.


Читать дальше →
Всего голосов 17: ↑13 и ↓4+9
Просмотры13K
Комментарии 0

Спам, спам, спам…

Блог компании МТСBig DataМашинное обучение
Каждый активный абонент в среднем получает более четырех нежелательных звонков в неделю — это реклама, предложения банков, иногда просто мошенничество. Большинство клиентов негативно реагируют на такого рода звонки. Для решения этой проблемы мы разработали услугу “Блокировка спам-звонков”, подключив которую, пользователь перестает получать нежелательные звонки, а в конце каждого дня система оповещает абонента о вызовах, которые были заблокированы. В этой статье data scientist’ы МТС Анна Рожкова (@RogotulkA) и Ольга Герасимова(@ynonaolga) расскажут как разработали алгоритм, отличающий номера спамеров от остальной абонентской базы.


Читать дальше →
Всего голосов 22: ↑17 и ↓5+12
Просмотры32K
Комментарии 77

Туториал по Uplift моделированию. Часть 2

Блог компании МТСData MiningМатематикаМашинное обучениеИскусственный интеллект
🔥 Технотекст 2020
Tutorial


В первой части мы познакомились с uplift моделированием и узнали, что метод позволяет выбирать оптимальную стратегию коммуникации с клиентом, а также разобрали особенности сбора данных для обучения модели и несколько базовых алгоритмов. Однако эти подходы не позволяли оптимизировать uplift напрямую. Поэтому в этой части разберем более сложные, но не менее интересные подходы.
Читать дальше →
Всего голосов 14: ↑13 и ↓1+12
Просмотры17K
Комментарии 5

Информация

Дата основания
Местоположение
Россия
Сайт
www.mts.ru
Численность
1 001–5 000 человек
Дата регистрации