Как стать автором
Обновить

Разработка

Сначала показывать
  • Новые
  • Лучшие
Порог рейтинга
  • Все
  • ≥0
  • ≥10
  • ≥25
  • ≥50
  • ≥100

MLOps. Зачем он нужен и как с ним работать? Обзор полезных инструментов

Блог компании Инфосистемы Джет Машинное обучение *Искусственный интеллект

Когда впервые сталкиваешься с понятием MLOps, нет абсолютно никакого понимания, а зачем это вообще нужно. В разного рода выступлениях, посвященных этой теме, рассказывают о важности воспроизводимости результатов, хранения зависимостей проекта, а зачем это нужно — обычно никто не объясняет. Все эти вещи становятся очевидными только после того, как пройдешь через весь ад создания и поддержания действительно крупного проекта.

В первой части этой статьи я расскажу о проблемах, с которыми можно столкнуться при работе над проектами, а во второй — об инструментах, которые помогут с ними справиться. Это будет интересно в первую очередь начинающим специалистам в области ML, которые еще не столкнулись с подобными проблемами в своей практике. Я не буду рассказывать об инструментах, которые и так пользуются популярностью в DevOps, а затрону специфичные для области вещи.

Интересно? Поехали!
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 306
Комментарии 0

Новости

Когда в России начнется освоение диапазона 700 МГц сотовыми сетями?

Сетевые технологии *Беспроводные технологии *Разработка систем связи *
Recovery mode

Когда в России начнется освоение диапазона 700 МГц сотовыми сетями?

Минцифры планирует до конца года подготовить дорожную карту по передаче полосы частот 694–790 МГц операторам мобильной связи. Этот диапазон (700 МГц) – один из ключевых для развертывания сетей пятого поколения. В России на частотах 470–790 МГц шло аналоговое телевещание, но после перехода на цифровое ТВ часть из них можно освободить. В частности, перевести работу телевизионного оборудования в полосы ниже 694 мегагерц. Освободившийся диапазон 700 МГц – так называемый цифровой дивиденд – будет востребован для предоставления телеком-услуг вдоль автотрасс и в небольших населенных пунктах.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 709
Комментарии 2

Криптография и генерация больших однозначно простых чисел — критерий Поклингтона

Криптография *Алгоритмы *Математика *Научно-популярное
Из песочницы

В этой статье мы рассмотрим итеративный алгоритм по генерации больших однозачно простых чисел больше заданного порядка, который использует критерий Поклингтона.
Алгоритм использует простое число меньшего порядка как минимум удваивая количество цифр для следующего шага.

О применение простых чисел в криптографии и не только можно прочитать здесь, а в данной статье сконцентрируемся на самом алгоритме.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 514
Комментарии 2

Проблемы визуализации данных, с которыми я сталкиваюсь почти на каждом проекте

Блог компании TietoEVRY Визуализация данных

Меня зовут Георгий Цыганков, я занимаюсь/специализируюсь на построении BI решений в ИТ-компании Tieto. Мы занимаемся бизнес-аналитикой и визуализацией данных. Уже порядка 7 лет работаю с различными BI-платформами и есть достаточно разнообразный опыт проектов в нескольких индустриях: логистике, производстве, ретейле и сфере оказания услуг населению. Мне интересно сравнивать платформы с точки зрения разработчиков, аналитиков, бизнес-пользователей, а также анализировать боли бизнеса и сложности на проектах. 

В этой статье я расскажу, как визуализация влияет на восприятие информации, что важно при выборе BI-систем и почему почти ни один проект внедрения не обходится без внешних консультантов.

Читать далее
Всего голосов 2: ↑0 и ↓2 -2
Просмотры 598
Комментарии 1

Как нейронные сети заменяют рендеринг

Блог компании Recognitor Алгоритмы *Обработка изображений *Машинное обучение *Искусственный интеллект

​Нейронные сети уже везде. И фильтры в фотошопе, и подделка лиц в видео. Но многое пока ещё невозможно. Магические слова "сделай мне видео по моей любимой книжке" пока не работают. Хоть потихоньку мы и движемся к этому. В этой статье я попробую рассказать что сейчас делается в этом направлении и где проходит современный технический прогресс.

В прошлой своей статье я рассказывал про современные генеративные сетки, в первую очередь про StyleGan. Эмбединги и GAN - это красивая математика. Но на практике применений у них пока мало.

Сегодня я немного расскажу о чуть более прикладных подходах и проектах, которые помогают генерировать видео. Тут GANы тоже встречаются, но зачастую как малая часть системы, и куда больше значит логика и схема работ.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 974
Комментарии 2

Как разработать микросхему, от идеи до результата. Часть 2. Установка программного обеспечения

Блог компании RUVDS.com FPGA *Программирование микроконтроллеров *Производство и разработка электроники *IT-компании
Tutorial
В этой статье мы поставим все необходимые инструменты для того, чтобы начать разработку микросхемы. Также мы установим Process Design Kit, про который мы говорили в предыдущей статье.

Напоминаю, что я продолжаю идти к цели — сделать свой собственный Отечественный Процессор (TM). Продолжение процесса разработки можно посмотреть под катом.

Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 728
Комментарии 1

Обзор аутентификации на основе токенов

Информационная безопасность *
Перевод
В прошлом для аутентификации в большинстве приложений и веб-сервисов пользователи должны были запоминать и при каждом логине вводить свои пароли. Кроме неудобства, это создавало ещё и угрозы безопасности, поскольку пользователи часто выбирали слабые пароли и использовали их в нескольких сервисах. Аутентификация на основе токенов устраняет подобные проблемы. Давайте разберёмся, как она реализуется.


Токены могут быть или программными компонентами (например, на основе стандарта JSON Web Tokens), или аппаратными устройствами. Они позволяют пользователям с лёгкостью выполнять вход и оставаться в системе без компрометации защиты. Токены даже могут повышать безопасность, стимулируя к использованию сильных паролей и действуя наряду с паролями для реализации многофакторной аутентификации (Multi-Factor Authentication, MFA).
Читать дальше →
Всего голосов 13: ↑10 и ↓3 +7
Просмотры 1.2K
Комментарии 2

Шёпот и эмоции в Алисе: история развития голосового синтеза Яндекса

Блог компании Яндекс Машинное обучение *Научно-популярное Искусственный интеллект Голосовые интерфейсы


Четыре года назад мы запустили Алису. С самого начала она обладала собственным, узнаваемым голосом. Хотя проблемы тоже были: интонации хромали, эмоции скакали от слова к слову, а омонимы и вовсе ставили синтез в тупик. Алиса звучала пусть и не как робот, но ещё и не как человек.

Исследования показывают, что желание общаться с голосовым помощником напрямую зависит от того, насколько точно он имитируют речь людей. Поэтому мы постоянно работаем над «очеловечениванием» голоса Алисы. С тех пор сменилось несколько поколений нашего голосового синтеза. Мы научились расставлять интонации, отличать «замОк» от «зАмка» и многое другое.

Сейчас мы переходим на следующий уровень: учим Алису управлять эмоциями и стилем своей речи, распознавать шёпот и отвечать на него шёпотом. Казалось бы, что в этом сложного и почему всё это было невозможно ещё несколько лет назад? Вот об этом я и расскажу сегодня сообществу Хабра.
Читать дальше →
Всего голосов 34: ↑31 и ↓3 +28
Просмотры 1.7K
Комментарии 3

Самые заметные изменения языка php за последние годы

Блог компании Reksoft PHP *

Я начинал работать с php, когда еще не потерял популярность его 4 выпуск, с тех пор произошли огромные изменения. На мой взгляд, последние несколько лет преобразили разработку на нем.  Кстати php продолжает быть серьезно востребованным, например, сейчас “Рексофт” развивает на нем несколько проектов. В одном из них работаю и я.  Но перейдем к делу. Делюсь с вами самыми интересными изменениями в php, прошедшими с 5 до версии 8.1.

Одним из самых распространенных классов в веб-разработке я бы назвал сущность User, предназначенную для работы с пользователями. В парадигме MVC ее можно назвать моделью пользователя, которая хранит данные (свойства) и предоставляет доступ к ряду методов работы с ними, а также бизнес-логику, связанную с областью применения класса. На примере такого класса я и хочу посмотреть сам и показать тебе, читатель, как изменился язык php за последнии годы.

Для удобного изменения кода, и чтобы в дальнейшем проще было отслеживать, что в каком порядке менялось, я создал репозиторий на гитхаб. Ссылка на репозиторий: https://github.com/ZhukMax/php-evo. Отразил в коммитах каждый шаг, который ниже постараюсь подробно описать.

Читать далее
Всего голосов 17: ↑17 и ↓0 +17
Просмотры 1.5K
Комментарии 2

Файл-сервер на Raspberry Pi как домашний NAS

Блог компании FirstVDS Open source *Серверное администрирование *Разработка под Linux *

Одноплатные мини-компьютеры подходят для совершенно разных полезных применений: блокировки рекламы во всём трафике (Pi-hole), управления умным домом или печати на стареньком принтере в кладовке по Wi-Fi. Но практически идеальный вариант использования — в качестве файл-сервера с подключением внешнего SSD или HDD. Это может быть и домашний хостинг, и даже колокейшн в настоящем дата-центре.

Мы уже рассказывали про создание собственного веб-сервера на Andoid, а также про хостинг файлов в ДНК.

Теперь посмотрим, какие есть разработки под Linux:
Читать дальше →
Всего голосов 9: ↑7 и ↓2 +5
Просмотры 2.8K
Комментарии 7

Особенности защиты веб-приложений с помощью WAF

Блог компании МТС Информационная безопасность *Разработка веб-сайтов *Облачные сервисы
Бизнесу важно любой ценой сократить time to market цифровых продуктов. Нет времени объяснять защищать — выпускаем новый релиз. Так зачастую бывает с веб-приложениями. При их разработке или развитии вопросы безопасности отодвигаются на второй план. Это приводит к уязвимостям в коде, слабым параметрам аутентификации пользователей, недостаткам контроля доступа и т.д. И целого поста на Хабре не хватит, чтобы рассказать обо всех проблемах.



Уязвимости — это рабочая неизбежность, ведь задача бизнеса — выпустить новый функционал веб-приложений в заданные сроки, когда нет места идеальному результату без временных ограничений.
Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 621
Комментарии 0

Adb-server в Kaspresso

Разработка мобильных приложений *Разработка под Android *Тестирование мобильных приложений *

Всем привет!

Мы продолжаем нашу серию статей о Kaspresso!

Это первая статья из раздела advanced, в котором мы будем рассказывать о тонкостях и деталях реализации фичей Kaspresso.

Когда сравнивают фреймворки автоматизации (На чем писать Android UI-тесты), в плюс Appium часто записывают исполнение adb-команд. А вот у Espresso и UI Automator этого функционала нет.

В Kaspresso мы попробовали это исправить и добавили AdbServer, о котором и поговорим.

Познавать Kaspresso
Всего голосов 7: ↑6 и ↓1 +5
Просмотры 407
Комментарии 0

Почему наш стартап переехал с Flask на FastAPI

Блог компании Конференции Олега Бунина (Онтико) Блог компании Datafold Python *Программирование *Big Data *

Как так оказалось, что стартап решил поменять стек? Это же затраты и все возникающие при этом сложности переезда. Но если хочешь получить короткий, эргономичный, хорошо читаемый код, приходится идти на жертвы. Но давайте по порядку.

Алекс Морозов, co-founder & CTO в компании Datafold, рассказал, как они переехали с Flask на FastAPI и поделился собственным опытом такого переезда. Это не только то, что пишут в документации, а конкретные проблемы, с которыми они столкнулись при переезде, и как они их обошли. На примерах посмотрим, что стоит сделать, а каких решений лучше избегать.

Читать далее
Всего голосов 14: ↑12 и ↓2 +10
Просмотры 2.5K
Комментарии 7

Опыт разработки первой игры на Unity, часть 3

Разработка игр *Unity *Игры и игровые консоли

Ошибка планирования

Возникла внезапная проблема: пусть во время битвы герои и получают опыт, повышают уровень — но этот прогресс должен сохраниться только при успешном завершении уровня. А смена уровня у меня идет следующим пунктом плана работ!

Так что в этой части будет смена уровня вместо прокачки героев

Читать далее
Всего голосов 1: ↑0 и ↓1 -1
Просмотры 753
Комментарии 0

Как мы переходили на Node.JS v16, или История о сломанном GC

Блог компании Тензор Высокая производительность *JavaScript *Программирование *Node.JS *
26 октября 2021 года вышел новый релиз Node.JS 16.13.0 который стал Active LTS.
Как мы переводили на него наш сервис мониторинга и анализа логов PostgreSQL и с какими проблемами столкнулись — в статье ниже.

Читать дальше →
Всего голосов 32: ↑32 и ↓0 +32
Просмотры 1.5K
Комментарии 1

Градиентный бустинг с CATBOOST

Программирование *Алгоритмы *Машинное обучение *

CatBoost – библиотека, которая была разработана Яндексом в 2017 году, представляет разновидность семейства алгоритмов Boosting и является усовершенствованной реализацией Gradient Boosting Decision Trees (GBDT). CatBoost имеет поддержку категориальных переменных и обеспечивает высокую точность. Стоит сказать, что CatBoost решает проблему смещения градиента (Gradient Bias) и смещения предсказания (Prediction Shift), это позволяет уменьшить вероятность переобучения и повысить точность алгоритма.

Загружаем набор данных...
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 528
Комментарии 0

Техники безопасной парольной авторизации в Web

Информационная безопасность *Разработка веб-сайтов *

Приветствую, друзья! В прошлой статье я предлагал на обсуждение какой-то бред, за который теперь стыдно черновик нового протокола аутентификации на сайтах. И хотя сейчас я значительно его переработал (с учетом ваших замечаний) и готовлю новую версию, я решил что стоит предварительно опубликовать несколько статей, которые будут раскрывать мотивы технических решений, закладываемых в новый протокол. А эта статья посвящается проблемам и техникам безопасной передачи и хранения сайтами ваших паролей.

Я приведу несколько реально используемых схем, встречаемых на практике. Буду приводить схемы авторизации в порядке от простого к сложному, показывая их преимущества и недостатки и обосновывая выбранные технические решения.

Теперь кратко о себе: Я опасно некомпетентен в криптографии. Это всё, что вы должны обо мне знать.

Обзор техник
Рейтинг 0
Просмотры 1.8K
Комментарии 6

PlayStation-игры на GameBoy, новогодняя звезда и голосовой ассистент: новые проекты на RaspberryPI

Блог компании Selectel Разработка на Raspberry Pi *Гаджеты DIY или Сделай сам Электроника для начинающих

Праздники уже на носу, всего несколько недель и можно будет немного отдохнуть от суеты, рутины и переживаний 2021 года. Ну а чтобы встретить праздники полноценно, можно запастись арсеналом игровых систем и развлечений, основанных на RaspberryPi. В сегодняшней подборке несколько чисто развлекательных проектов и только парочка более-менее серьезных. Что же, давайте приступим к разбору.
Читать дальше →
Всего голосов 16: ↑15 и ↓1 +14
Просмотры 1.8K
Комментарии 3

От 1FA к Zero-Trust через рынок ИБ

Информационная безопасность *Математика *
Из песочницы

В настоящее время в контексте систематического увеличения как в размерах, так и в инфраструктурной сложности существующих систем кибербезопасности, а также логического завершения устоявшейся парадигмы локализации средств защиты организаций внутри их периметра, возникает необходимость создания и использования эффективных алгоритмов контроля доступа к чувствительной информации компаний извне, не ограничивающихся лишь структурной криптографической составляющей, но также включающих в себя концептуальные аспекты инфраструктурных методов и решений.

В данной статье автором осуществляется фундаментальный обзор актуальных на сегодняшний день алгоритмов аутентификации пользователей, а также производится разбор и оценка возможности их применимости в контексте инфраструктурного подхода Нулевого Доверия (англ. Zero-Trust).

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 612
Комментарии 4

Производная как смысл жизни или что такое дифференциал(d)

Математика *
Tutorial

Эта одна из статей серии "Производная как смысл жизни". В этой статье я постараюсь объяснить и показать, что такое дифференциал, ведь у многих проблемы с его пониманием.

Читать далее
Всего голосов 14: ↑10 и ↓4 +6
Просмотры 3.4K
Комментарии 7