Моя лента
Новости
Пошаговое руководство по созданию синтетических данных в Python
Простое руководство для новичков: как самому генерировать данные для анализа и тестирования
Представьте: вы только что написали модель машинного обучения и вам нужно протестировать её работу в конкретном сценарии. Или вы собираетесь опубликовать научную статью о пользовательском решении в области Data Science, но имеющиеся датасеты нельзя использовать из-за юридических ограничений. А может быть, в рамках проекта машинного обучения вы занимаетесь отладкой и исправлением ошибок и вам нужны данные, чтобы идентифицировать и устранить проблемы.
В этих, да и во многих других ситуациях могут пригодиться синтетические данные. Реальные данные часто недоступны: уже кому-то принадлежат или дорого стоят. Так что умение создавать синтетические данные — важный навык для дата-сайентистов.
В этой статье я расскажу, с помощью каких приёмов и методов можно с нуля создать в Python синтетические данные, игрушечные датасеты и фиктивные значения. В некоторых решениях применяются методы из библиотек Python, в других — приёмы, основанные на встроенных функциях Python.
Долгожданная RTX 4090 для ML и не только: дайджест новинок
Последний месяц лета оказался насыщенным на события и продуктовые обновления. Например, мы завезли RTX 4090 – одну из лучших видеокарт GeForce на базе архитектуры Ada Lovelace. Данная GPU отлично подходит для рендеринга и стриминга видео, 3D-моделирования и запуска инференса ML-моделей.
Но это еще не все! В августе мы завезли запустили Security Center, добавили группы пользователей в IAM и не только. Интересно узнать подробности? Добро пожаловать под кат!
5 приёмов, чтобы управлять ожиданиями клиентов относительно качества и сроков (от продаж к тестированию)
Управление ожиданиями клиентов – один из ключевых аспектов успешного взаимодействия в любой сфере. Я точно знаю, что принципы управления ожиданиями клиентов – будь то сроки доставки, качество обслуживания или выполнение поставленных задач – остаются универсальными для любой отрасли, включая разработку ПО. Работают они и в тестировании.
Истории
IO Ninja: Программно-аппаратный комплекс для разработчиков и инженеров
Знаете, ребят, иногда в нашей IT-шной жизни встречаются штуки, которые нужны не только сисадминам или безопасникам, но и простым разработчикам. Вот тот случай, когда даже если ты привык к высокоуровневым абстракциям и фреймворкам, рано или поздно всё равно придётся копаться в низкоуровневом вводе-выводе или прикручивать взаимодействие с железом. Так что этот продукт может пригодиться всем — от тех, кто настраивает серверные фермы, до тех, кто внезапно осознает, что программировать драйвера — это не так уж и весело.
Терминалы и снифферы — зачем они нужны?
Если вы когда-нибудь занимались разработкой или отладкой оборудования, наверняка сталкивались с необходимостью мониторинга данных, проходящих по различным интерфейсам, будь то Ethernet, RS232, RS485 или I2C. Для этого и нужны терминалы и снифферы.
Давайте поговорим о терминальных эмуляторах — нашей незаменимой палочке-выручалочке, когда надо пообщаться с операционкой или каким-нибудь железом через командную строку. Это софт, который эмулирует ту самую текстовую среду, где ты можешь лихо строчить команды, как будто в каком-то из 80-х, а система тебе отвечает, как послушный бот. Будь то работа с последовательным портом или через сетевой интерфейс, эмулятор терминала позволяет напрямую передавать команды и получать обратно данные, при этом всё выглядит более-менее человекочитаемым. В общем, если тебе нужно, например, поговорить с сервером на языке Bash или погонять команды на каком-нибудь девайсе — терминал твой лучший друг!
Основные компоненты терминала:
IT-специалист 2.0: как прокачать скиллы и не сойти с ума в эпоху цифрового хаоса
Работа в IT – это как гонка на Formula 1 – постоянный драйв, адреналин и… риск выгореть на старте. Но что, если бы у тебя была команда пит-стопа, готовая подкинуть тебе свежие шины, заправить бак и дать ценные тактические советы? Мы в ОТП Банке верим, что IT-специалист будущего – это не одинокий волк (ауф!), а командный игрок. И в этой статье хочу поделиться как у нас поддерживают спецов. Привет, Хабр:)
Как искусственный интеллект может преобразить здравоохранение
Человек – это не только медицинский профиль, его здоровье зависит от пяти факторов: сон, питание, движение, управление стрессом и социальные связи. Thrive AI Health, финансируемая OpenAI и Thrive Global, разрабатывает гиперперсонализированного ИИ-коуча по здоровью. Коуч использует научные данные и методику «микрошагов» для формирования здоровых привычек; а также анализирует биометрические данные и привычки пользователя, помогая улучшить факторы, влиящие на самочувствие. Искусственный интеллект адаптируется к пользователю в режиме реального времени и даёт персонализированные советы касательно здоровья.
Оптимизация, которая невозможна в Rust
В этой статье я опишу, как я реализовывал German string и с какими трудностями столкнулся в Rust. В особенности я рассмотрю, как добавить общее владение для подобной структуры данных.
Изготовление лампы с цоколем упрощённого типа
Речь идёт об опытах и экспериментах на пути к изготовлению более или менее практических электровакуумных приборов (ЭВП) в домашней лаборатории-мастерской. Стоит сказать: выводы ЭВП — спай разнородных материалов, сложное и ответственное место любой лампы. Говоря о конструкции, классическая гребешковая ножка [1] покрывает все любительские потребности, однако её изготовление, тем более из легкоплавкого стекла платиновой группы, склонного к растрескиванию из-за высокого температурного коэффициента расширения (ТКР) — многостадийный процесс, имеющий несколько длительных промежуточных отжигов. Что удлиняет и удорожает изготовление. Однако ряд приборов можно сделать с упрощённым цоколем и проволочными выводами, быстрее, удобнее, дешевле.
Типы проб в Kubernetes: проверяем работоспособность систем
Пробы — важнейшая возможность Kubernetes, обеспечивающая удобное предоставление услуг, что незаменимо для конечных пользователей. По своей сути пробы регулярно отслеживают, может ли под адекватно обрабатывать трафик, и при необходимости принимают меры, например, выполняют перезапуск.
Как проходит техническое собеседование в Авито? Показываем
Специально для вас мы провели открытое собеседование на вакансию техлида в Авито и записали его на видео. Из ролика вы узнаете, какие вопросы обсуждают на интервью, как оценивают кандидата и чего от него ждут.
Видео будет интересно смотреть всем, кто связан с разработкой и IT-проектами, но особенно полезен этот ролик техническим менеджерам, TeamLead, TeachLead, TUL и CTO.
Интервью на позицию техлида у нас делится на несколько этапов. Первый — технические секции, второй посвящён прошлому менеджерскому опыту. А третий — это разбор кейса. Этот этап не предполагает правильных и неправильных ответов. Мы даём кандидату ситуацию и оцениваем пути её решения.
Встречу проводил Игорь Гранщиков, технический директор Авито Недвижимость, а в роли кандидата выступил Андрей Смирнов, руководитель клиентской разработки в X5 Tech и ведущий подкаста Frontend Weekend.
Описание самого кейса для кандидата вот здесь. Вы можете оценить предложенное Андреем решение или же предложить свой вариант в комментариях к посту.
Кстати, недавно мы рассказывали о том, как фронтендеру стать тимлидом кросс-функциональной команды и что для этого нужно. По ссылке — личный опыт Ильи Оболенского, техлида в Авито Авто.
Подписывайтесь на канал AvitoTech в Telegram, чтобы не пропустить новости о проектах и работе в Авито.
Зачем и кому нужны мониторы с частотой обновления 500 Гц и выше
В мире компьютерных технологий и киберспорта постоянно появляются новые разработки, призванные улучшить игровой опыт и повысить конкурентоспособность игроков. Одним из последних достижений стали мониторы с частотой обновления 500 Гц и выше. В этой статье мы рассмотрим технические аспекты таких дисплеев, проанализируем их преимущества и ограничения, а также обсудим, кому они действительно необходимы.
Mojo: убийца Python и будущее Ai?
Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft, и сегодня мы погрузимся в Mojo. Я уже делал обзор данного языка программирования и рассмотрел его преимущества, примеры использования, а также провел сравнение с Python.
Теперь давайте посмотрим, как обучить простую сверточную нейронную сеть, и разберём один из методов машинного обучения — линейную регрессию. В качестве примеров задач возьмем стандартные соревнования машинного обучения: предсказание стоимости жилья и классификацию рукописных цифр MNIST. Для проведения экспериментов на Python используем фреймворк машинного обучения PyTorch. А на Mojo — фреймворк машинного обучения Basalt.
Ближайшие события
Как прокачать память и легче учиться
Сегодня поговорим о теме, которая так или иначе касается каждого - нашей памяти. Почему мы запоминаем совершенно ненужную информацию, но забываем то, что надо выучить? Почему важно делать перерывы и как сон помогает запомнить события дня надолго? Этот и другие вопросы разбираем в новом материале
Apple получила разрешение на использование AirPods Pro 2 в качестве слухового аппарата
Управление по контролю качества пищевых продуктов и лекарственных средств США (FDA) одобрило использование AirPods Pro 2 в качестве слухового аппарата. Регулятор начал выдавать разрешения на применение безрецептурных слуховых аппаратов с 2022 года, чем предоставил потребителям более дешёвые альтернативы, не требующие посещения врача.
Как устроен главный китайский аналог Ютуба
Ютуб в России лихорадит, и непонятно, чтоб будет дальше. Самое время посмотреть на Китай, где Ютуб давно заблокирован, но у людей есть несколько заменителей. Разбираем самый интересный из них, который больше всего похож на Ютуб. Это Bilibili, и у него необычная история (спойлер - он появился благодаря геймерам и анимешникам), особенности и фичи.
Oracle анонсировала облачный ИИ-кластер из 131 072 ускорителей Nvidia B200
Oracle сообщила о скором запуске одного из крупнейших облачных ИИ-кластеров. В него войдёт до 131 072 GPU Blackwell от Nvidia, что обеспечит вычислительную мощность до 2,4 ZFLOPS. Как заявляет Oracle, её решение будет втрое мощнее суперкомпьютера Frontier и в шесть раз мощнее облачных сервисов, которые предоставляют компании-конкуренты.
Апериодический монотиль
Если вы хотите замостить на даче дорожку мозаикой из одного типа плиток, и вам надоели не только квадраты, но и любые периодические узоры, то вам подойдёт математическое открытие прошлого года: плитка, которая называется «spectre», в переводе — «призрак». Её форма позволяет замостить любую площадь, не создавая периодов, при этом достаточно только одного типа фигур, в отличии от мозаики Пенрозуа, где нужно минимум два. Конечно, если вы согласны класть плитки не только лицевой, но и изнаночной стороной, то вам подойдёт и мозаика из «шляп Эйнштейна», о ней я рассказывал в предыдущей статье. Но кто же кладёт плитки изнанкой? Тогда уж берите сразу два типа плиток, зеркально отражённые.
Вам нужно только одну форму? Тогда только призрак. Романтичный вариант названия – «привидение».
В Великобритании 17-летнего подростка арестовали за кибератаку на транспортное управление Лондона
Национальное агентство по борьбе с преступностью Великобритании арестовало 17-летнего подростка, подозреваемого в причастности к кибератаке на городское транспортное агентство Transport for London.
Кошачья грация: искусственные мышцы для роботизированных ног
Практическая разработка робототехники берет свое начало еще в начале прошлого века, не говоря уже о теоретической части, которую можно отследить до времен Да Винчи и даже старше. За эти долгие годы ученым удалось превратить железного дровосека в человекоподобного робота, обладающего многими возможностями, имитирующими как человеческий организм, так и других животных. Однако даже самые современные роботы лишены того, с чем многие дикие животные рождаются, а именно врожденной грации и легкости локомоции в сложных условиях окружающей среды. Ученые из Швейцарской высшей технической школы Цюриха разработали искусственные мышцы для роботизированных ног, позволяющие роботу преодолевать препятствия с присущей диким животным грацией и точностью. Из чего сделаны эти мышцы, как именно они работают, и насколько они эффективны? Ответы на эти вопросы мы найдем в докладе ученых.