Спецпроекты

…Из Data Lake вынырнула прекрасная дева и протянула Артуру меч, и на том мече рунической вязью было начертано «Big Data». «Пусть он служит тебе верой и правдой, пронзая тьму незнания и проливая свет на самые неочевидные закономерности», — торжественно произнесла Владычица Озера. Король Артур преклонил колени и принял меч из рук девы. Затем оседлал коня и направился в сторону ближайшего дата-центра.

Сезон больших данных на Хабре подошёл к концу. Сегодня мы поговорим о том, какими знаниями вооружили нас авторы сезона, раздадим ценные артефакты, а заодно — побеседуем о перспективах больших данных с авторами сезона и экспертами Газпромбанка.

Привет, Хабр! На связи Вадим Шевяков, @Sirion. Возможно, вы помните меня по другим статьям — в частности, по истории об органическо-технологической ферме М2. Сегодня я хочу поведать о новом дорожном приключении. На этот раз я попал в гости не к коровкам и козочкам, а к суровым (спойлер: нет) нижегородским айтишникам.

Под катом расскажу, о чём мечтает каждая аутсорсинговая компания, из чего состоит идеальный бургер айтишника и куда женщинам вход строго воспрещён. А также многое, многое другое.

Инженеры данных (англ. data engineer) готовят данные для анализа, машинного обучения и других целей. В деталях это означает множество операций с данными: сбор, хранение, обработка, интеграция, трансформация и представление в нужной для работы приложений и систем форме.

Из краткого определения сложно понять нюансы профессии и тем более захотеть стать инженером данных. Поэтому мы с коллегами собрали мифы о data engineering и выделили наиболее популярные.

Если вы неплохо знакомы с работой дата-инженера, мифы про бесконечный кодинг или однообразие задач могут показаться глупыми и смешными. Но не делайте поспешных выводов: при подготовке статьи мы тоже узнали что-то новое.

Привет, Хабр! Современный IT-ландшафт трудно представить без открытых платформ, где разработчики создают, размещают и продвигают свои продукты. Айтишники могут свободно обращаться к наработкам и ресурсам больших компаний, чтобы меньшими средствами реализовывать свои идеи. 

Тому, как грамотно использовать эти ресурсы, посвящена конференция VK Open для разработчиков открытых платформ. 3 июня создатели игр и мини-приложений поделятся историями успеха и набитыми шишками, а спикеры от VK расскажут о возможностях и инструментах открытых платформ с активной аудиторией более 45 млн человек в месяц.

Если ваша тропинка ведёт в сторону открытых платформ VK, по пути вам неизбежно встретятся несколько «дорожных камней», указывающих верное направление. В этой статье мы расскажем, что это за дорожные камни, у которых стоит остановиться и задуматься. Ну и заодно — о наших открытых платформах в целом.

Привет! На связи Фаддей Осипов, руководитель команды разработки в Х5 Tech. Вы когда-нибудь задумывались, какую роль играют роботы в каждом вашем походе в «Пятёрочку» или «Перекрёсток», а также доставке продуктов на дом? Почему машины с продуктами разгружаются вовремя, а все кассиры одновременно не уходят в отпуск? Что ж, пора увидеть настоящий мир.

Сильнейший из офисных супергероев — Человек-Админ, защитник безопасности и хранитель паролей. Каждую рабочую неделю он сталкивается с новыми испытаниями: то нужно помочь коллегам сменить скомпрометированные пароли, то восстановить доступ к жизненно важным ресурсам. На этой неделе он столкнётся со сложнейшей задачей в своей жизни. Но для Человека-Админа провал невозможен! Чтобы преуспеть, он отправится в приключение на поиски оптимального способа хранить пароли.

Наверное, будет непросто найти пользователя Хабра, который бы не знал такого сочетания из 5 букв, как RUVDS. За восемь лет, что мы присутствуем на Хабре, пять уверенно держимся на первом месте — это заслуга десятков сотрудников компании и звёздных авторов, с которыми в этом году мы планируем достичь отметки 3000 публикаций в блоге. Но RUVDS это не только буквы, блог намбаван, крутые конкурсы, квесты и спецпроекты — прежде всего это отличный хостинг с датацентрами в десятке стран, на которых мы недавно перешагнули планку в 500 тысяч серверов, в честь чего мы и решили устроить эту забаву.

Привет, Хабр! На связи DevRel-команда inDrive. Мы прошли путь от стартапа из Якутии до компании с продуктом, которым пользуются в 47 странах мира. В процессе мы поняли важность culture fit — насколько хорошо вписывается разработчик в инженерную культуру компании. Мы представили её в виде пирамиды по аналогии с пирамидой Маслоу. 

Уровни пирамиды разделены в соответствии с потребностями инженера на работе и проиллюстрированы примерами из нашего опыта. В основе пирамиды — комфортное рабочее окружение, на вершине — самоактуализация на конференциях.

Не так давно завершились сезоны Kubernetes и Machine Learning, подарившие Хабру множество качественных технических статей. В межсезонье мы решили отвлечься от технохардкора и предложили вместо того, чтобы писать о технологии, использовать технологию и показать её результат с точки зрения пользователей. С 4 по 14 апреля мы провели на Хабре Неделю Нейроарта. Всё это время хабраюзеры неустанно публиковали статьи с тегом Kandinsky art, сопровождая их иллюстрациями, сгенерированными нейросетью Kandinsky 2.1.

Сегодня расскажем, как жилось авторам в симбиозе с искусственным интеллектом, и по результатам недели посмотрим, смогут ли генеративные модели составить конкуренцию художникам и иллюстраторам. А заодно объявим, кто те трое счастливчиков, что благодаря этому симбиозу получат по новенькому iPhone 14 Pro.

Ладно, не заливай! Ни разу не был на берегах Data Lake?! Пойми, в IT только и говорят, что о Data Lake! Как оно бесконечно прекрасно. О бигдате и графах, которые они видели. О том, как дата-сайентист, погружаясь в море данных, преисполнился знания. Мы не хотим, чтобы Хабр там наверху окрестили как-нибудь не так, а потому ещё с начала года мощно прокачиваем ИИ-ландшафт самыми хардкорными и глубокими текстами: уже отгремел сезон ML, закончилась неделя нейроарта, а теперь совместно с Газпромбанком стартует сезон Big Data. 

Давным-давно, в далёкой-далёкой галактике 1 марта Хабр объявил начало сезона «Машинное обучение», и вот настало время подводить итоги. За чтением хардкорных конкурсных текстов месяц пролетел незаметно. Мы узнали много интересного о нейросетях и неочевидных способах взаимодействия с ними, пополнили свою коллекцию туториалов и в очередной раз убедились в актуальности темы Machine Learning для читателей Хабра.

Мы не получили ответ на главный вопрос Вселенной, жизни и всего такого, но зато нам известен лучший автор сезона ML. Впрочем, у него были достойные соперники, их тексты привлекли много внимания и породили холивары в комментариях. Под катом наградим победителя новым макбуком, познакомимся с участниками сезона, пофлудим о Machine Learning и обсудим перспективы этого направления. 

Джеймс Гослинг как-то сказал, что Java — это C++, из которого убрали все пистолеты, ножи и дубинки, однако практика показывает, что «ножи и дубинки» становятся классным инструментом в руках опытных разработчиков. В общем, немалая часть проклятий в адрес C++ объясняется элементарным «вы просто не умеете его готовить». Мы в «Лаборатории Касперского» умеем готовить «плюсы» и поэтому любим их. C++ — низкоуровневый язык, который позволяет работать с железом и писать быстрый код и при этом содержит массу возможностей. В экосистеме «плюсов» куча проработанных паттернов, best practices и готовых библиотек под разные задачи. Язык динамично развивается — но сохраняет обратную совместимость. 

В этом посте мы с помощью карты покажем, какие навыки и знания нужны разработчику на C++. Естественно, разбирать путь развития «плюсистов» будем на собственном примере — тем более что у нас в «Лаборатории Касперского» много очень разных проектов с отличающимися задачами. Однако наша карта по большей части универсальна и будет полезна всем, кто хочет развиваться в С++-разработке.

Однажды весною, в час небывалого жаркого заката, на Хабре объявили конкурс, посвящённый технологиям искусственного интеллекта. В Сезоне Data Mining мы собрали статьи об обработке больших данных. Из Сезона ML узнали, как работают нейросети и с чем их готовить. В разработке ещё один Сезон на эту тему. Мы решили передохнуть и объявляем неделю нейроарта. Участвовать может любой автор, который опубликует статью с 4 по 14 апреля 2023 года и добавит на картинку в ленте изображение от Kandinsky 2.1. Подробности под катом.

Работа с паролями — вечная головная боль для компаний любого размера. Сотрудники используют огромное количество сервисов, с которыми часто приходится работать совместно. Нужно где-то безопасно хранить пароли от этих сервисов и как-то делиться ими с коллегами, а когда этот процесс не организован, возникают проблемы.

Для решения этих задач есть корпоративный менеджер паролей Пассворк — о нём расскажем в этой статье. Загляните под кат, чтобы понять, в каких кейсах Пассворк полезен, а в каких — очень полезен. Ну и, разумеется, узнать всё о его многочисленных возможностях.

Каждому из нас приходится принимать решения и иметь дело с их последствиями. Если речь идёт о бизнесе, то верный выбор может принести кругленькую сумму денег, а неверный — стоить целого состояния. Неудивительно, что сейчас в моде data-driven-подход, при котором каждое бизнес-решение принимается на основе объективных данных. Преобразованием данных в решения занимаются аналитики: финансовые, инвестиционные, продуктовые, аналитики рисков — им нет числа, как и строкам в их таблицах.

Разновидностей аналитиков стало уже так много, что в них немудрено и запутаться. Под катом мы разберём, кто такие аналитики данных, системные аналитики, бизнес-аналитики и дата-сайентисты: чем они отличаются, что у них общего, какие навыки нужны, чтобы стать одним из них. А заодно — вспомним первопроходцев, выдающихся аналитиков прошлого и над какими задачами они работали.

С 29 декабря по 24 февраля на Хабре прошёл сезон Kuberbetes. Вместе с партнёром, #CloudMTS, мы вдохновляли хабраавторов публиковать статьи по k8s и контейнерам в соответствующем хабе — глубокие, полезные, с техническими подробностями. 

Пришло время подвести итоги и узнать, кто получит новенький MacBook и грант в 30 000 рублей на то, чтобы написать ещё одну классную статью. Награждаем не только победителя: участники конкурса получат в подарок от #CloudMTS гранты на использование сервисов компании. Под катом итоги сезона, победитель, впечатления авторов и прочая милота. 

Плох тот джун, который не мечтает стать мидлом. Быть самостоятельным, справляться с задачами без советов старших коллег. Но и мидл хочет расти дальше — к сеньору. К новым вызовам, новой ответственности и высокой зарплате. У многих мидлов и знаний достаточно, чтобы с работой сеньора справляться. Казалось бы, ничто не мешает перейти на следующую ступень, но не переходится. Где же выход? 

Не самое очевидное решение — стать наставником или ревьюером. Мы попросили действующих наставников и ревьюеров Яндекс Практикума рассказать, как пополнить их ряды, чем придётся заниматься, а главное — что им это дало и почему стоит попробовать себя в наставничестве. Если интересно, приглашаем под кат. 

Меня зовут Андрей Аврамчук, я старший продюсер спецпроектов в Хабре, принёс не ответ на главный вопрос, а пока только новый сезон на Хабре — «Машинное обучение», который мы проводим совместно с ВТБ с 1 по 31 марта. Будем искать вместе, и да поможет нам магия ML.

UPD. Сезон закончился, итоги можно посмотреть в этой статье.

Хотя в IT и разработана шкала оценки программистов (Trainee, Junior, Middle, Senior, Tech Lead), с которой более или менее все согласны, единого определения каждого уровня среди работодателей пока нет. В итоге каждая компания устанавливает собственные требования к навыкам на каждом уровне.

Этот тест поможет вам прикинуть, какой бы у вас был грейд, если бы вы собеседовались в МКБ.

Каждые полгода мы на Хабр Карьере собираем и анализируем зарплаты IT-специалистов, а потом рассказываем вам, что изменилось и сколько сейчас получают айтишники.  

Пришло время подводить итоги второго полугодия 2022: для этого исследования мы проанализировали более 10 000 зарплат IT-специалистов, сравнили их по городам, специализациям, языкам, компаниям и теперь рассказываем, что получилось.