Data Scientist рассказывает, зачем обрабатывать данные перед загрузкой в модель, как провести предобработку и какие инструменты использовать.
Моя лента
Новости
Rutube запустил информационный раздел для авторов контента
На видеохостинге Rutube появился информационный раздел для авторов контента. Там рассказывается, как зарегистрировать канал, загрузить видео, подключить монетизацию и многое другое.
«Блогеры смогут узнать, как зарегистрировать и развивать канал, а также как увеличить свои доходы. Новые авторы смогут узнать, как загружать видео на платформу, как запускать трансляции, ознакомятся с техническими параметрами shorts и длинных роликов», — говорится в сообщении пресс-службы Rutube.
Ретрансляция Kerberos. Как работает RemoteKrbRelay
В Windows Active Directory существует протокол Kerberos, который считается безопасным и неуязвимым к Relay-атакам. Или всё-таки...? В статье автор погрузился в глубины аутентификации Windows, DCOM и рассказал об инструменте RemoteKrbRelay.
Технология и методология работы с 3D-моделями в среде общих данных строительного проекта
Информационная модель объекта строительства может быть представлена в виде 3D-модели.
Существует два принципиально разных способа формирования 3D-модели в среде общих данных.
Первый способ предполагает передачу в СОД уже собранной сводной 3D-модели, для последующей работы (рассмотрения и согласования).
Второй способ предполагает сборку сводной модели непосредственно в СОД.
Рассмотрим подробней достоинства и недостатки каждого из способов.
Истории
Как я узнаю ежедневные новости с помощью матричного принтера
Уже давно я начинаю свой день с разблокировки телефона и пролистывания различных новостей и соцсетей, чтобы оставаться в курсе событий. Это не слишком хорошо отражается на моем душевном состоянии и я уже давно пытаюсь снизить время, проводимое перед экраном. Но я все еще хочу оставаться в курсе происходящего, особенно по утрам.
Недавно я приобрел ударный матричный принтер на Ebay и подумал, что это прекрасная возможность создать собственную сводку новостей, отпечатанную и готовую к прочтению. Это я и сделал!
«Яндекс» запустил в Москве программу трейд-ин по обмену б/у умных колонок «Станция» на новые модели
7 октября 2024 года «Яндекс» запустил в Москве программу трейд-ин по обмену бывших в употреблении своих умных колонок «Станция» на новые модели.
Apple Pro Weekly News (30.09 – 06.10.24)
Наконец-то вышла в релиз iOS 18.0.1 – что там исправили и какие ещё обновления вышли на неделе? Что стало известно про грядущие октябрьские новинки, какова ремонтопригодность новых AirPods, за что продолжает судиться Apple, какой фильм побил рекорд на стриминге компании и анонсирован новый челлендж для владельцев часов. А ещё свежие новости из App Store и многое другое. Погнали к новостям!
После критики MKBHD выпустил обновление приложения с обоями: в нём стало меньше рекламы
В конце сентября американский техноблогер Маркес Браунли (Marques Brownlee), известный под псевдонимом MKBHD, выпустил приложение Panels. В нём собраны обои для смартфонов от фотографов и иллюстраторов. Пользователи раскритиковали приложение из-за обилия рекламы. Всё доходило до того, что без подписки за 4,5 тыс. рублей в год нельзя было скачать изображения в HD.
Security Week 2441: уязвимости в роутерах DrayTek
Всего уязвимостям подвержены 24 модели роутеров данного производителя, из которых 11 официально более не поддерживаются производителем. Впрочем, несмотря на это, обновления прошивок, устраняющих уязвимости, выпущены для всех затронутых устройств и доступны на сайте производителя. В устаревших роутерах была закрыта только одна, наиболее опасная, уязвимость.
Декодирование BPSK Модуляции из Звука
В этом тексте я реализовал возможность передачи бинарных данных звуком через BPSK модуляцию. Написал инструкцию как это можно делать.
Вся обработка происходит в post processing режиме на PC над записанным wav файлом.
Изучение ЦОС на примере работы со звуком - это доступная каждому возможность для экспериментов с различными алгоритмами DSP.
Какая роль аналитика в кросс-командной разработке
23 октября пройдет System Analysis Meetup в офисе AGIMA на Петровке.
Обсудим, как мэтчить требования, сущности и документацию, как синхронизироваться, как договариваться об изменениях. Какие инструменты помогают улучшить и оптимизировать эту работу. Обменяемся опытом и выясним, где проходит граница полномочий аналитика.
Что вас ждет:
- Доклады экспертов из МТС Premium и AGIMA. Поговорим о лучших практиках в работе с кросс-командой в разработке, о систематизации и многом другом.
- Квест. Подготовим для вас испытания — заковыристые задачки, сложные и веселые вопросы и конечно, непростой маршрут.
- Экскурсия. Прогуляемся по офису, потрогаем раритетные стены из кирпича и представим, как в этом месте создавал свой шедевр «Вишневый сад» Антон Павлович Чехов.
- Конкурс «Мастер-печати». Узнаем, как быстро вы печатаете и посоревнуетесь с другими участниками митапа. Кстати, прошлый рекорд был 392 знака в минуту.
- Твоя игра. Вспомним, как это было в нулевые, когда попадался кот в мешке. Перенесемся в атмосферу и узнаем, кто же знает больше всего фактов из агентств о рынке диджитал. Готовьтесь к рейтингам за 300, статьям за 400 и багам на проде.
Еще будут напитки, угощения и классная атмосфера для живого общения и обмена опытом. Регистрация — по ссылке выше, мероприятие рассчитано для системных аналитиков, поэтому будет проведена модерация. Количество мест ограничено.
До встречи 23 октября, 18:00!
Новая компьютерная программа для запоминания иностранных слов и фраз
Когда возникло желание выучить самостоятельно иностранный язык (сначала пробовал шведский, теперь французский), то удивил достаточно бедный выбор компьютерных обучающих программ. Хотя, доступной литературы, сайтов, видеороликов, онлайн и оффлайн курсов и т.п., более, чем достаточно.
Да, это все помогает в освоении иностранного языка, но хотелось бы работать именно с обучающими программами. Поэтому, раз не нашел подходящей для себя программы, то пришлось написать ее самому. В результате получилось приложение под названием «L'école, v. 1.00» либо, в упрощенном наименовании, «Lecole, v. 1.00»
Лично для меня, это хорошая программа и я, с удовольствием, учу язык с ее помощью. Другим она не обязательно может понравиться, но, как говориться: «моё дело – предложить, ваше дело - отказаться». Ибо, на вкус и цвет товарищей нет. Кому-то нравится для этих целей использовать онлайн-сервисы, кому-то мобильные приложения, а кто-то любит работать с десктопными программами. Спорить о том, что лучше, не вижу особого смысла, если есть желание использовать что-то готовое – используем, если нет, то пытаемся, в меру своих сил, создавать что-то другое.
Идея обучения там реализована простая. Как показывает опыт самостоятельного освоения иностранного языка, удобно иметь активный и пассивный режимы работы. Плюс контроль усвоенного материала, назовем его «режимом экзамена». Далее, каждый режим будет рассмотрен более подробно.
Кроме того, даже если прототип подобной программы либо сервиса уже существует, то написать собственный аналог тоже может иметь смысл, например, для целей развития навыком программирования.
Короче говоря, было решено создать собственную программу, удовлетворяющую следующим условиям:
Безопасность в машинном обучении: от проектирования до внедрения
Полина Сокол, старший аналитик данных R&D-лаборатории Центра технологий кибербезопасности ГК «Солар», подготовила материал о методах работы с данными и ML-моделями.
Это направление исследований позволяет на выходе обеспечить требования к прозрачности, ответственности и рискам, связанных с искусственным интеллектом. И его невозможно игнорировать при использовать ML в продуктах, предназначенных для защиты от целенаправленных атак, которые и сами могут стать одной из целей атакующих − EDR, NTA, XDR, SIEM и другие классы решений.
Ближайшие события
Обзор профессионального HDR монитора TCL 34R83Q: современное QLED-решение с большой диагональю и частотой 170 Гц
Как математик насушил листьев и продал на маркетплейсах на 20 млн в год
Меня зовут Денис. В 2010-м я закончил Удмуртский государственный по специальности прикладная математика.
Рецептуры мы половину своровали (воспроизвели популярные составы), а половину придумали сами.
Раньше сорта придумывала моя жена, сейчас этим занимается технолог. На фото я и жена
Как грузить данные во ViewModel?
Привет, Хабр!
Эта статья будет полезна для мобильных разработчиков, потому что в ней обсуждаются различные подходы к первоначальной загрузке данных во вьюмодели (Jetpack ViewModel) при ее использовании в проектах на Jetpack Compose (либо Compose Multiplatform).
Тема эта настолько холиварная, что один из самых влиятельных ютуберов в сфере Android-разработки Philip Lackner даже недавно посвятил ей отдельный как всегда очень качественный обзор. Эта статья - во многом ответ и дополнение к нему.
Итак, перейдем к сути.
Топ-5 ИБ-событий недели по версии Jet CSIRT
Сегодня в ТОП-5 — обновление для библиотеки Libnv, предупреждение агентства CISA о критических уязвимостях, фишинговая кампания Narketing163, уязвимость в Microsoft Office, атака Linux-серверов.
Вопрос о скользящих средних и медианах
В качестве ответа на комментарий https://habr.com/ru/posts/848370/#comment_27385020
В рамках комментария картинки будут совсем не видны. А при создании поста- только одно изображение .
Поэтому пришлось выделить в виде статьи.
PostgreSQL Antipatterns: валим «слона» — highload на ровном месте
Сегодняшняя тема посвящена нелегким взаимоотношениям клиентского приложения и сервера PostgreSQL: как на ровном месте, неудачной архитектурой приложения, можно обеспечить себе хронические проблемы производительности.
Рассмотрим классические ситуации, когда разработчики начинают жаловаться на производительность БД - а виновата-то и не она!
Хабр, привет!
Зовём вас встретиться и поговорить про Data Build Tool.
8 октября, то есть завтра вечером, соберёмся с Николаем Марковым, Data Platform Lead в Altenar, и Евгением Ермаковым, руководителем платформы данных в Toloka, и вместе обсудим:
➡ Как управлять жизненным циклом данных в мире победившего Modern Data Stack?
➡ Могут ли современные инструменты преобразить процесс Data Governance и сделать его простым и быстрым?
➡ Как разные компании и команды применяют DBT для решения задач Data Governance?
Поговорим про особенности DBT, его преимущества, потенциальные сложности и ограничения, а также — про реальный опыт использования DBT в Toloka.
⭐ Когда: завтра, 8 октября в 19:00 мск
⭐ Регистрация — через бота.
Приходите!