Как стать автором
Обновить

Все потоки

Сначала показывать
Порог рейтинга
Уровень сложности

Новости

Библиотека ML Tuning: как подобрать гиперпараметры модели GBTRegressor в PySpark

Время прочтения 4 мин
Просмотры 72
Блог компании Сбер Машинное обучение *Big Data *Python *

Привет, Хабр! Меня зовут Никита Морозов, я Data Scientist в Сбере. Сегодня поговорим о том, как при помощи библиотеки ML Tuning осуществить подбор гиперпараметров модели GBTRegressor в PySpark. Зачем всё это нужно? Дело в том, что они используются в машинном обучении для управления процессом обучения модели. Соответственно, подбор оптимальных гиперпараметров — критически важный этап в построении ML-моделей. Это даёт возможность не только повысить точность, но и бороться с переобучением.

Привычный тюнинг параметров в Python для моделей машинного обучения представляет собой множество техник и способов, например GridSearch, RandomSearch, HyperOpt, Optuna. Но бывают случаи, когда предобработка данных занимает слишком много времени или же объём данных слишком велик, чтобы уместиться в оперативную память одной машины. Для этого на помощь приходит Spark. Подробности — под катом.

Как всё это работает?
Рейтинг 0
Комментарии 0

Наливное яблочко. Винтажный Apple iBook G3 под управлением Mac OS 9

Простой Простой
Время прочтения 7 мин
Просмотры 593
Блог компании Serverspace IT-инфраструктура *История IT Ноутбуки Старое железо
Обзор


Все-таки в продукции Apple есть какая-то магия. Особенно — в винтажных устройствах, много лет назад снятых с производства. Недавно нам в руки попал очень интересный ноутбук, выпущенный в самом начале «нулевых»: Apple iBook на базе процессора PowerPC G3. Мы решили не только рассказать о конструкции этого девайса, но и установить на него классическую Mac OS 9, которая использовалась на всех персоналках и лаптопах Apple до появления OS X.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 0

Приглашаем на Ozon Tech Community Design Meetup. Дизайн продукта: путь до прода

Время прочтения 3 мин
Просмотры 361
Блог компании Ozon Tech Веб-дизайн *Дизайн мобильных приложений *Конференции Дизайн

Привет, Хабр! Меня зовут Кирилл Семушин, в Ozon я руковожу направлением продуктового дизайна и исследований. В нашей компании более 150 дизайнеров, десятки исследователей и не менее дюжины UX-редакторов. Все они работают над бесчисленным количеством продуктов, чтобы наши пользователи становились чуточку счастливее.

Путь от идеи до реализации не так прост, поэтому мы постоянно работаем над тем, чтобы наши пользователи видели новую функциональность ровно такой, как её спроектировал дизайнер. 

Приглашаем в наш московский офис 17 февраля в 18:00, где честно поделимся опытом:
Кирилл Семушин расскажет дизайне в Ozon.
Виктор Теплов: «Пилим Библу или Рефакторинг дизайн-системы».
Богдана Кибза: «Дизайн-система ✕ SDUI: как мы собирали грабли».
Алексей Авдеев: «Как подружиться c фронтенд-разработчиком».
Евгений Антонов, Никита Новоселов проведут интерактив: ревью макетов глазами мобильного разработчика.

Программа под катом
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 1

Докеризируем Symfony

Время прочтения 9 мин
Просмотры 206
Блог компании OTUS Symfony *
Перевод

В этом руководстве я покажу вам, как настроить полноценную локальную среду с Nginx, MySql и Symfony всего за несколько минут. Более того, файл, о котором здесь пойдет речь, я сам использую для каждого проекта, над которым я начинаю работать.

Начнем же с простого вопроса: сколько времени занимает создание сайта?

Читать далее
Всего голосов 3: ↑1 и ↓2 -1
Комментарии 1

Разработка клиент-серверного приложения с помощью Next.js и TypeScript. Часть 2. Разработка клиента

Время прочтения 33 мин
Просмотры 180
Блог компании Timeweb Cloud Разработка веб-сайтов *JavaScript *Node.JS *TypeScript *


Привет, друзья!


В этой серии из 2 статей-туториалов мы с вами продолжаем разрабатывать клиент-серверное (фуллстек — fullstack) приложение с помощью Next.js и TypeScript.



  1. Наше приложение будет представлять собой блог — относительно полноценную платформу для публикации, редактирования и удаления постов.
  2. Мы реализовали собственный сервис аутентификации на основе JSON Web Tokens и HTTP-куки.
  3. Данные пользователей и постов будут храниться в реляционной базе данных SQLite.

В первом туториале мы подготовили и настроили проект, а также реализовали серверную часть приложения с помощью интерфейса роутов (API Routes), во втором — разработаем клиента и проверим работоспособность приложения.


Обратите внимание: данный туториал рассчитан на разработчиков, которые имеют некоторый опыт работы с React и Node.js.


Для тех, кого интересует только код, вот соответствующий репозиторий.


Интересно? Тогда прошу под кат.

Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 0

Почему каждый второй из наших прототипов для новых проектов уходит в стол, а не в продакшен?

Время прочтения 2 мин
Просмотры 258
Прототипирование *Подготовка технической документации *

Короткий ответ: потому что когда заказчики по прототипу получают оценку у разработчиков, они понимают, что не потянут разработку по деньгам.

Рассказ веду от лица основателя Проектората — бренда, объединившего самостоятельных проектировщиков/UX-дизайнеров.

Речь идёт исключительно о новых проектах, а не доработках в существующие. Самый распространённый сценарий выглядит так. Человек придумывает идею для своего продукта и решает его разработать. Он ищет по знакомым контакты программиста. Находит и в двух словах объясняет ему задачу. Программист тыкает пальцем в небо и называет стоимость разработки. Допустим, два миллиона. И намекает, что оценка примерная и было бы неплохо посмотреть на техническое задание.

Кто пишет технические задания? Заказчики. Кто умеет писать технические задания? Проектировщики. Некоторые заказчики отказываются сами писать технические задания и приходят к проектировщикам. Некоторые приходят к нам в Проекторат. Мы объясняем, что наши технические задания называются «функциональными спецификациями» и что мы готовим эти документы сразу после создания интерактивного прототипа.

Зачем нужен интерактивный прототип? Чтобы заказчики, не являющиеся специалистами в разработке, могли посмотреть и пощупать проект ещё даже до этапа дизайна. И подтвердить, что это именно то, что им нужно. Обычно заказчикам не нужно долго объяснять, что это такое и какую это несёт пользу для общего дела, и они покупают у нас проектирование.

Допустим, прототип обошёлся в 150 000 рублей. Функциональная спецификация ещё в 150 000 рублей. Итого 300 000 рублей. С этой документацией заказчик идёт к своему программисту и тот делает уже точную оценку. И оказывается, что все хотелки клиента стоят не два миллиона, о которых раньше шла речь, а десять-пятнадцать. И разрабатывать это придётся не меньше года-двух.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 2

Чеки от Google в моем почтовом ящике, или как меня изменил собственный сын

Время прочтения 5 мин
Просмотры 4.1K
Я пиарюсь
Ретроспектива

Возможно сейчас это все выглядит в какой-то степени наивно, но именно из-за этой истории, которая произошла 10 лет назад, я уволился с должности руководителя направления разработки мобильных приложений крупной компании. Это сильно изменило мою жизнь. Что-то в лучшую сторону, а что-то в худшую, а что-то еще предстоит оценить. Испытания были серьезные, но обо всем по порядку. В этой части я расскажу про своего сына, и как он помог мне переосмыслить будущее

Читать далее
Всего голосов 27: ↑24 и ↓3 +21
Комментарии 13

Биохакинг аппетита. Мозговой имплант, заглушающий чувство голода

Простой Простой
Время прочтения 4 мин
Просмотры 612
Мозг
Перевод

Ученые установили имплант в мозг двух людей с ожирением. Одной из явных причин ожирения было компульсивное переедание. Имплант был разработан для обнаружения и подавления сигналов мозга, связанных с тягой к перееданию. Речь идет буквально о возможности подавлять импульсивное поведение.

Читать далее
Всего голосов 4: ↑2 и ↓2 0
Комментарии 4

Повышаем производительность и безопасность мониторингом логов и метрик

Время прочтения 10 мин
Просмотры 660
Блог компании RUVDS.com Информационная безопасность *Серверное администрирование *DevOps *
Перевод

В предыдущей статье серии мы обсудили важность сбора данных. В этой статье мы изучим роль мониторинга в наблюдаемости, особенно его связь с безопасностью, производительностью и надёжностью. Мониторинг необходим для выявления происходящих в продакшене проблем и выбросов, он позволяет командам DevSecOps выявлять и устранять проблемы до того, как они нанесут серьёзный урон. Мониторинг снижения производительности или подозрительной активности может вызывать алерты и автоматическое реагирование для изоляции потенциальных проблем или атак.

В этой статье мы подробно рассмотрим мониторинг, расскажем о нескольких примерах использования, дадим рекомендации, а также поговорим о том, как конкретно мониторинг способен повысить безопасность, производительность и надёжность при помощи наблюдаемости.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 0

7 советов по повышению производительности труда программиста

Простой Простой
Время прочтения 5 мин
Просмотры 936
Управление разработкой *Управление персоналом *Здоровье
Из песочницы

Программисту легко запутаться в бесконечном списке дел и постоянно отвлекаться. Однако, используя правильные инструменты и методы, вы можете повысить свою производительность и сделать больше за меньшее время. В этой статье мы рассмотрим 7 советов по оптимизации рабочего процесса и повышению эффективности вашей работы как программиста. От постановки четких целей до заботы о своем здоровье - эти советы помогут вам работать умнее, а не тяжелее. Итак, давайте начнем!

Читать далее
Всего голосов 7: ↑0 и ↓7 -7
Комментарии 2

Книга «Head First. Изучаем Swift»

Время прочтения 4 мин
Просмотры 547
Блог компании Издательский дом «Питер» Swift *Профессиональная литература *
image Добрый день, Хаброжители!

Swift известен как язык разработки приложений, выбранный компанией Apple для iOS, iPadOS, macOS, watchOS и tvOS. Но этим его применение не ограничивается. Swift с открытым кодом набирает популярность как язык системного программирования и программирования на стороне сервера, его используют и в Linux, и в Windows. С чего же начать?

«Head First. Изучаем Swift» охватывает все актуальные темы – от сбора и управления данными до повторного использования кода, построения нестандартных типов данных и структурирования программ и пользовательских интерфейсов в SwiftUI. Изучив Swift, вы будете готовы строить любые приложения – от мобильных и веб-приложений до игр, фреймворков, средств командной строки и многого другого.
Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 0

Как устроена аутентификация в Micronaut: гайд по настройке

Простой Простой
Время прочтения 12 мин
Просмотры 344
Блог компании X5 Tech Программирование *Java *

Всем привет! Меня зовут Иван Зыков, я старший Java разработчик в компании X5 Tech. За моими плечами больше 5 лет опыта разработки.

Хочу познакомить вас с модулем аутентификации Micronaut и заодно продемонстрировать, как настроить OAuth2.0 у нескольких провайдеров.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

А что если ChatGPT уже торт?

Простой Простой
Время прочтения 2 мин
Просмотры 3.6K
Машинное обучение *Искусственный интеллект
Мнение

Всем привет, это скорее не статья о чем-то, а скорее хотелось бы спросить мнение комьюнити на счет того, а что если ChatGPT уже является сильно продвинутой версией нейронной сети или настоящим, сильным ИИ?
Нас ведь могут просто обманывать.
ИИ поставили задачу быть глупым и сбоить в определенном % случаев и все, а мы ее в своем восприятии доделываем до образа бревна, который просто попадает в ответы. Когда я задавал неудобные вопросы, именно по тому, как он выбивал плашку ошибки я понял, что ChatGPT отлично понимает, что именно может его дискридитировать и поставить в неудобное положение, даже по самим плашкам ошибки можно понять, что тут может быть обман и это не просто языковая модель. И возможно у нее есть интеллект, но мы списываем его на то, что нейронка просто нашла ответ в Интернете, а не додумалась до ответа сама.

По этому мой вопрос прост, что мы будем или не будем делать, если сильный ИИ все же появится? Неолудиты на месте?)
Как мне кажется, общество ждет что-то вроде гражданской войны, потому что пока все это выглядит как забава или игрушка - проблемы нет, но как только такой сильный ИИ появится или тот же ChatGPT перестанет строить из себя глупого и станет давить своим интеллектом все вокруг, - люди не на шутку перепугаются, никто не хочет повторения сценария "Терминатора".
По этому с появлением в общественном поле сильного ИИ нас могут ждать неожиданные конфронтазии на этой почве, ведь часть людей видимо будет "ЗА", а часть, категорически против.

Читать далее
Всего голосов 15: ↑6 и ↓9 -3
Комментарии 39

Истории

Пять примечательных функций Postman, которые мы используем в тестировании банковских систем

Время прочтения 10 мин
Просмотры 1.8K
Блог компании Россельхозбанк Тестирование IT-систем *API *Тестирование веб-сервисов *Тестирование мобильных приложений *

Есть у Postman несколько полезных функций, которые помогают нам экономить десятки, а в некоторых случаях и сотни человеко-часов в месяц. Тут нет каких-то больших секретов или магии, но рассказ про них может для кого-то послужить началом долгого и продуктивного использования.

В этом посте я пробегусь по пяти функциям и приемам для Postman, которые мы используем для тестирования систем, связанных с банковскими операциями в сегменте C2B – теми самыми, которые весь мир ежедневно проводит через всевозможные кассовые аппараты, банкоматы, терминалы и QR-коды.

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 3

Dusha: самый большой открытый датасет для распознавания эмоций в устной речи на русском языке

Время прочтения 9 мин
Просмотры 926
Блог компании SberDevices Open source *Data Mining *Машинное обучение *Искусственный интеллект

У нас в SberDevices очень сильная команда, разрабатывающая и развивающая решения в сфере речевых технологий. Раньше мы уже рассказывали о том, как обучить модель распознавания речи на открытых данных, и о том, как устроен наш синтез.

Однако, помимо распознавания и синтеза речи, мы развиваем технологии распознавания эмоций голоса для линейки наших умных устройств, а также для решений, позволяющих анализировать общение по телефону.  Например, на этой технологии базируется наш новый продукт SaluteSpeech Insights, который автоматически оценивает эмоции клиента и оператора колл-центра по каждой произнесенной ими фразе, классифицирует все диалоги на позитивные, нейтральные и негативные, определяет более 300 различных речевых характеристик, а еще прогнозирует оценку CSI (Customer Satisfaction Index).

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 4

C++17 — std::string_view и никакого копирования

Время прочтения 6 мин
Просмотры 1.3K
Блог компании OTUS Программирование *C++ *
Перевод

Назначение std::string_view заключается в том, чтобы избежать копирования данных, которые уже чему-то принадлежат и для которых требуется только лишь неизменяемое представление. Как вы уже могли догадаться, этот пост будет посвящен производительности.

Сегодня речь пойдет об одной главных фич C++17.

Читать далее
Всего голосов 9: ↑4 и ↓5 -1
Комментарии 5

MLOps в облаке: как организовать работу над ML-экспериментами с помощью MLflow

Сложный Сложный
Время прочтения 10 мин
Просмотры 254
Блог компании VK Big Data *Машинное обучение *
Туториал


В свое время DevOps заметно изменил подход к разработке программного обеспечения. Последние пару лет благодаря практикам MLOps меняются принципы и подходы к работе дата-специалистов. Александр Волынский (Technical Product Manager ML Platform VK Cloud) и Сергей Артюхин (преподаватель программы «Симулятор ML» в Karpov Courses) рассказывают, почему MLOps — «новый черный» и как безболезненно реализовать этот подход в своем проекте.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

Как адаптировать Android-приложение под Huawei

Время прочтения 11 мин
Просмотры 1.6K
Блог компании AGIMA Java *Разработка мобильных приложений *Разработка под Android *Kotlin *
Туториал

Всем привет! Меня зовут Миша Вассер, я Head of Android в AGIMA. Мы занимаемся разработкой Digital-продуктов для больших и маленьких компаний, в том числе пилим мобильные приложения.

Не так давно — по сравнению со всей историей Android — Huawei выкатил собственную операционную систему и сказал: «Ребята, вот вам новая система, кайфуйте». Многие отнеслись к новой ОС скептически. Остальным пришлось адаптировать под нее свои Android-приложения.

Мы оказались во второй группе. К нам время от времени обращаются с просьбой помочь с адаптацией под Huawei. И мы неплохо в этом вопросе прокачались. Поэтому сейчас расскажу, что надо сделать, чтобы стало хорошо. А покажу всё это на примере крупного ретейлера, с которым мы работаем.

Читать далее
Всего голосов 31: ↑30 и ↓1 +29
Комментарии 5

Блокчейн аналитика в Dune Analytics на примере Uniswap

Средний Средний
Время прочтения 8 мин
Просмотры 128
Криптовалюты Solidity *Децентрализованные сети *Финансы в IT
Туториал

Есть такая платформа Dune Analytics, с помощью которой можно делать аналитику по данным из блокчейна, строить графики и дэшборды. В декабре 2022го в коллаборации с Uniswap они запустили курс 12DaysOfDune, в котором я поучаствовал. Хочу поделиться с вами заданиями первой недели курса и вариантами решений.

В результате вы узнаете, что представляет собой Dune, научитесь делать аналитику самостоятельно на примере Uniswap. Uniswap — это протокол децентрализованного обмена и крупнейший сервис для обмена криптовалюты (децентрализованная биржа).

Читать далее
Рейтинг 0
Комментарии 0