После такого несколько кликбейтного заголовка сразу раскроем карты: IT просто однажды «осмелились» сказать «нет» потоку сверхсрочных задач от бизнеса, и разработка стала успевать входить в график. На этом можно было бы и закончить, но тогда лайфхак остался бы лишь теорией, которую вы наверняка не раз встречали в книгах на тему «умей говорить “нет”». Однако реально применять этот совет в разработке даже сложнее, чем в жизни. Да и вырванный из контекста этот совет — «так себе».  

В этом блоге мы рассказываем нашим потенциальным коллегам о том, какие проекты, технологии и команды есть сейчас в Сбере и что вас ждёт, если вы к нам присоединитесь. Сегодня это история про то, как мы оптимизировали работу IT-команды таким образом, чтобы и разработчики не сидели до ночи, подписавшись под супер-короткими сроками, поставленными «бизнесом», и «бизнес» был доволен.

Привет, меня зовут Ира Баринская, я строила и развивала продуктовое сообщество Сбера и создала подкаст «Настоящий продакт». О нем я и хочу поговорить с вами.

Но сначала в нашу статью на минутку ворвётся Джозеф Кэмпбелл, исследователь мифологии и автор книги «Тысячеликий герой». Если коротко, в своём исследовании он выделил типичный «путь героя». Этот путь состоит из 12 шагов и отлично прослеживается в любом героическом эпосе.

Именно по этим шагам мы и пройдёмся. В конце концов, по мотивам работы продакт-менеджера можно написать героический эпос не слабее «Одиссеи».

Итак…

Будущее наступает раньше, чем вы думаете. Эти новые технологии изменят наш образ жизни, то, как мы заботимся о своем теле, и помогут нам предотвратить климатическую катастрофу.

Кажется, что будущее всегда запаздывает. Человеческое воображение не успевает за реальными действиями, так как в любой момент времени, ученые и инженеры создают технологии будущего и мир вокруг нас - в большом и малом. Мы не осознаем этого, так как привыкли жить в этом процессе, но темпы прогресса за последние полвека были нетипично-ошеломляющими, в таких широких областях, как вычисления, медицина, коммуникации и материаловедение.

Тем не менее, ни у кого нет личного реактивного ранца, работающего на вечном двигателе, поэтому, очевидно, что работа должна продолжаться. Мы надели "дальновидные очки" нашего футуролога и составили список некоторых из самых захватывающих технологий будущего, которые изменят наш мир. От бионических человеческих существ до технологий, которые могут остановить климатический кризис, - это одни из самых больших идей.

Простите за невольную игру слов в заголовке. Просто именно это умеет новый AI-сервис Сбера на основе алгоритма CosFace: не просто отличать собаку от кошки на фото, а распознавать мордочки конкретных, реально существующих питомцев с точностью 94 % для собак и 84 % для кошек. Разработка выполнялась в рамках страховой программы «Питомец под защитой» и имеет возможности для дообучения, модификации и дальнейшего применения не только в страховых продуктах и не только в Сбере. Рассказываем, как работает сервис, на чём обучали его модели и как он может развиваться дальше.

Если вы хоть раз имели дело с заказом текстов для сайта, то знаете, как это может быть мучительно больно. И нет, мы даже не про долгие часы написания ТЗ (что делает любой нормальный контент-менеджер или SEO-специалист) и не про упоминание в них важной дополнительной информации, которую нужно отразить в текстах (что делают крутые специалисты).

Мы про результаты, которые присылают копирайтеры, особенно если это недорогие копирайтеры с биржи. В лучшем случае вы получаете рерайт первого же текста из выдачи, а в худшем – фактические и грамматические ошибки и столько воды, что позавидовал бы Ниагарский водопад.

Конечно, бывают исключения как среди копирайтеров, которые пишут хорошо и недорого, так и среди контент-менеджеров, которые, скажем так, не принимают близко к сердцу качество текстов. Если вы понимаете, о чём мы. Но это всё компромиссы, которые в конечном счёте могут стоить больших затрат, потому что пользователь ошибок не прощает. А в условиях роста онлайн-торговли требуется всё больше товарных описаний.

Мы подумали, что было бы здорово создать универсального умного «сотрудника», пишущего на любые темы за считанные секунды и желательно бесплатно. И поскольку в Сбере всё активнее используются сервисы на основе ИИ и машинного обучения, мы решили применить их и для этой задачи.

В сентябре вышел совместный проект Sber AI и CopyMonkey.ai – AI-копирайтер на основе искусственного интеллекта, который за секунды генерирует уникальные товарные описания для интернет-магазинов и маркетплейсов. В основе лежит языковая модель ruGPT-3.

Пишете музыку, но внезапно настиг творческий кризис? Или вам хочется получить треки уровня royalty-free, потыкав несколько слайдеров в Colab ноутбуке? Вы не готовы получать PhD в нейронных сетях и разбираться с теорией музыки, а попробовать себя в роли нейросетевого музыканта очень уж хочется?

Команда Sber AI спешит к вам с радостной новостью: совершенно безвозмездно мы выкатили NLP-модель синтеза музыки, обученную на тысячах часов музыки из открытых источников. Вам не придется платить за аренду GPU сервера с картой V100 для синтеза через Jukebox - наша модель порадует вас бесплатными треками в риалтайме даже в простом Google Colab.

А ещё вы узнаете, как связаны трансформеры и шедевры классической музыки. Но обо всем по порядку.

Спешим сообщить, что сейчас проходит приём заявок и регистрация всех желающих принять участие в знаковом событии года AI Journey Contest 2021 — ежегодном онлайн-соревновании по искусственному интеллекту (ИИ), которое проводится совместно с ведущими технологическими компаниями с 2016 года.

Состязание будет проводиться на платформе DSWorks, на базе самого мощного суперкомпьютера в России — «Кристофари», созданного Сбером.

Увлекательные задачи и внушительный призовой фонд, превышающий восемь миллионов рублей, ждут победителей этого соревнования интеллектов!

Зарегистрироваться и принять участие можно до 31 октября 2021 г. (к соревнованию допускаются участники старше 18 лет).

Участники будут состязаться в поиске лучших решений для трёх задач:

1.      Fusion Brain Challenge — обучение мультимодальных, multi-task- и мультиязычных моделей — один из главных трендов на пути к созданию AGI (сильного искусственного интеллекта). В рамках задачи предлагается создать модель, способную качественно решить каждую из предложенных подзадач:

Изменить сохранения Spark! Часть вторая: реализация партишенера!

В этой статье вы узнаете о том, какими способами мы пытались обновлять таблицы в Hadoop, содержащие сотни терабайт данных.

И если в начале нашего пути процесс обновления длился несколько часов (до десяти-двенадцати часов), то теперь ему требуется всего тридцать-сорок минут, а использование вычислительных ресурсов уменьшено вдвое!

При этом была создана библиотека расширения Spark, которая предоставляет DataSource для преобразования данных в файлах в формат этого DataSource, изменения данных командой MERGE через DataFrame API или SQL, а в будущем ещё и UPDATE, DELETE и некоторые операции DDL.

Файлы при этом можно будет читать любым привычным способом, ведь они не модифицированы, а метаданные не обязательны для их чтения.

Вы увидите код этой библиотеки на языке Scala, который сможете использовать, а может быть даже доработать и поделиться своими успехами.

Я постараюсь пояснить, почему был сделан тот или иной выбор, но могу умолчать о чём-то, что кажется очевидным, или, наоборот, о чём я не имею представления. Вы сможете задать вопросы, а я постараюсь ответить на них.

Это первая статья из нескольких, и в ней будет рассказано только о немногих реализованных классах (они нужны для распределения данных определённым способом), поэтому наберитесь терпения, я расскажу всё по частям. Впрочем, пора перейти к повествованию.

Всем привет!

Всё началось с того, что мы в Sber AI решили немного поизучать/почитать подробнее про хайповую нейронную сеть DALL·E и понять её потенциал возможностей, а также в чём заключается боттлнек – что же мешает генерить картинки хорошего качества и как можно попытаться улучшить работу модели?

Год назад, в сентябре 2020 года команда SberDevices выпустила семейство виртуальных ассистентов Салют. В семействе три персонажа — Сбер, Афина и Джой. Они доступны на умных устройствах Sber, устройствах под управлением Салют ТВ и в мобильных приложениях СберБанк Онлайн и Сбер Салют.

Вместе с этим запуском мы запустили первую версию платформы SmartMarket. С инструментами SmartMarket внешние разработчики и бизнес получили возможность создавать приложения для виртуальных ассистентов Салют. 

Иван Смирнов, руководитель NLP-Platform и SmartMarket рассказывает, как мы собрали вместе инструменты и технологии Сбера и к чему удалось прийти за год.

Поговорим о том, как можно использовать эмодзи при написании кода и какие для этого есть специальные языки программирования. А ещё дадим советы программисту, как использовать эмодзи в кодинге (спойлер: добавлять их в комментарии, описания коммитов и даже строки — для оживления логов). Ну, и немного истории появления смайлика.

Привет, Хабр! Сегодня мы расскажем о том, как подходили к созданию сообщества практики по автоматизации DevOps CI/CD в Сбере. Рассмотрим предпосылки, методологии и лучший мировой опыт, который использовали, а также ключевые проблемы и ошибки. В этой статье опытом делится Рашид Галиев – руководитель группы развития методологии DevOps и внедрения инженерных практик CI/CD, эксперт команды ядра сообщества DevOps в Сбере.

Начну с цифр и предпосылок: у нас порядка 16000 инженеров разных ролей и областей экспертизы, около 3000 продуктовых команд, большое количество систем со своим независимым релизным циклом и достаточно много внедрений в месяц.

Д.Б. Пайсон, Ю.И. Дюгованец, С.А. Гавриш, Управление исследований и инноваций Сбера

Дисклеймер: изложенное является аналитическим материалом, подготовленным группой сотрудников Управления исследований и инноваций на основании информации, имеющейся в открытом доступе. Выводы авторов не являются официальным прогнозом ПАО Сбербанк.

В преддверии презентации нового iPhone (запланирована на 14 сентября 2021 г., 20:00 МСК; ссылка на трансляцию) в сеть просочились слухи о введении в функционал смартфона спутниковой связи. Хотя Apple не представила спутникового функционала в презентации своих новых продуктов 14 сентября, наши оценки технических возможностей и потенциала подобных решений остаются в силе, вопрос в том, посчитает ли компания целесообразным внедрить что-то подобное в одной из следующих версий iPhone.

Для тех, кто хочет войти в профессию

В 1947-м 9 сентября зарегистрировали первый баг в истории IT. Это было забавно: Гарвард, учёные тестируют вычислительную машину Mark II Aiken Relay Calculator и вдруг видят застрявшего между контактами электромеханического реле мотылька. «Bug» (англ. «жук»)! — сказала Грейс Хоппер, одна из первых писавшая программы для предыдущей версии гарвардской ЭВМ Mark I. Уснувшее навеки насекомое извлекли из реле и вклеили в технический дневник, сопроводив надписью: «First actual case of bug being found (первый случай в практике, когда был обнаружен жучок)». Так багами стали называть ошибки в программах, а процесс их исправления — debugging (отладка). И так 9 сентября стало Днём тестировщика.

Вот представьте: есть компания, которая накопила много ценных знаний в своей сфере. Мы про Сбер, увлекаться отвлечёнными моделями не будем. А в качестве сферы здесь рассматриваем финансовую и банковскую. 

И есть 71,9 млн трудоспособного населения в России. Ну, ещё не есть, но будет на конец 2021-го. И у большинства из этих людей знания в упомянутой сфере поверхностны. Поверхностны не потому, что людям не надо в этом разбираться. А просто – так вышло. Этому не учат.

Диссонанс. И ведь здорово бы его устранить, так? Нужно же просто взять и научить.

Отступление для тех, кому проще не верить в благие намерения банка. Сформулируем так: трудно развивать технологически-сервисную финансовую компанию в стране с низким уровнем финансовой грамотности трудоспособного населения. Отличная вышла формулировка – специально для тех, кто всё ещё видит в Сбере всё тот же СберБанк. 

Так вот. Нужно учить людей и повышать уровень финансовой грамотности. От этого растёт карма и ВВП. Но есть сложности. 

Привет, Хабр!

Сегодня мы, команда Sber AI, расскажем про различные подходы к FaceSwap с помощью нейросетей. Также мы хотим разобраться, какие у разных подходов есть преимущества и недостатки? И главное — как же все это работает?