Математика *

Хабр, привет! Давно я не писал этих слов... На связи Тимур, автор серии курсов по программированию "Поколение Python". 🐍

Последний раз я публиковал статьи около 10 лет назад. За это время произошло много интересного, обязательно расскажу об этом, но позже. А пока хочу поделиться новостью: на нашем курсе для начинающих питонистов набралось более миллиона студентов. Это первый курс на платформе Stepik с таким количеством студентов.

Для нас и для Stepik это очень большое событие, и мы бы хотели разделить его с нашими студентами и со всеми, кто изучает программирование вообще. Поэтому мы проводим онлайн-квест: его участники будут решать задачи по программированию, математике, логике, а самые успешные и удачливые получат призы. Ведь программирование — это не только про написание кода, это про умение решать самые разные задачи.

Привет, Хабр! Меня зовут Сергей Прилуцкий, я руковожу отделом исследований компании MixBytes. Мы занимаемся аудитами безопасности смарт-контрактов и исследованиями в области блокчейн-технологий. В числе прочего занимаемся и направлением zero-knowledge. Эта статья подготовлена по мотивам моего доклада на Highload про zkSNARKs. Это одна из самых горячих тем в современной криптографии. Они используются для обеспечения приватности и масштабируемости в децентрализованных системах. Поговорим, как масштабировать криптографические системы, какие проблемы существуют у снарк-алгоритмов и зачем они нужны.

Синус, одна из фундаментальных тригонометрических функций, играет важнейшую роль в различных областях, включая математику, физику, проектирование и computer science. Процесс его вычисления нетривиален, особенно при реализации в электронных калькуляторах, где крайне важна эффективность и точность.

В предыдущих постах серии мы изучили, как калькуляторы решают уравнения и как они вычисляют квадратные корни. В этом посте мы изучим запутанный процесс вычисления функции синуса, начав с простых аппроксимаций, а затем перейдя к более сложным методикам.

Есть простая последовательность чисел...

В казалось бы такой простой последовательности чисел могут возникнуть странные осцилляции в асимптотике.

WaveSync — новый алгоритм для детального, нелинейного и быстрого анализа сходства эмбеддингов и векторов.

Алгоритм является в большинстве задач заменой линейному косиносному сходству. Он позволяет улучшить точность обработки языка и открывает новые перспективы для разработчиков и исследователей в области NLP.

После нескольких лет успешных и не очень кейсов в консалтинге, мы поняли, что пока между бизнесом и учёными нет посредника, разработки не интересны бизнесу. Мы провели первое мероприятие, которое должно было связать бизнес с наукой, а науку с консалтерской реальностью.

Дисклеймер: мы - учёные, которые занимаются консалтингом. И говорить я буду с позиций науки в первую очередь. Но мы сделали мероприятие для наших потенциальных клиентов, у нас получилось, поэтому я делюсь этим опытом. Если что-то из сказанного далее покажется вам странным или, наоборот, слишком очевидным, то буду рада фидбэку от более опытных читателей в комментах :)

В статье хотим поделиться своим опытом реализации алгоритма решения задачи маршрутизации на основе метода имитации отжига в Norbit CDS – умной системе управления доставкой. 

Проанализировав материалы, можно обнаружить различные предлагаемые способы решения VRP-задач (Vehicle Routing Problem). Главная их цель – планирование маршрутов для транспортных средств оптимальным способом. Основными критериями, как всегда, остаются наикратчайший путь для транспортного средства и доставка услуг во все заданные точки. В рабочем месте логиста Norbit CDS задача не отличается. 

Создавая свой алгоритм оптимизации построения маршрутов доставки, мы исходили из следующих входных данных: количество транспортных средств, число заявок для распределения с учетом их габаритов и окон желаемого времени доставки. Для реализации был выбран метод отжига.

Евгений Кондратюк, математик-программист, C3D Labs, представляет обзор возможностей геометрического ядра C3D в области прямого моделирования, или прямого редактирования.

Геометрическое ядро C3D обладает функционалом, который позволяет работать с моделями без истории построения. Например, теми, которые были получены из импорта, или теми, у которых нет истории по каким-либо другим причинам. Такой функционал предусмотрен для работы непосредственно с гранями тела — либо с отдельными, либо с группами. В ядре C3D имеются такие опции, как удаление граней, очистка скруглений, отделение части тела, выступающих фичерсов, замена гладко стыкующихся граней одной гранью, замена одной грани сплайн-поверхностью для последующих модификаций и других действий, удаление вершин на открытых оболочках. Отдельный блок отвечает за модификацию граней — параллельное перемещение, перемещение грани по нормали, вращение грани относительно некоторой заданной оси и изменение радиуса скругления. Рассмотрим иллюстрации, демонстрирующие содержание данного функционала.

При создании любой модели машинного обучения всегда возникает вопрос оптимального соотношения цены и качества. С одной стороны data scientist-ы всегда стараются построить максимально производительную модель, с другой стороны бюджет, выделенный на ее построение всегда ограничен. Часть источников данных, может быть, платными, для части требуется наладить сложную процедуру сбора соответствующей информации, ограничено также и время, которое моделист может потратить на конкретную модель, ведь, по сути, эксперименты с различными фичами, выборками и параметрами можно проводить почти бесконечно. Все это приводит к тому, что в продакшене используются модели, которые могли бы быть существенно улучшены при больших затратах ресурсов, однако эти затраты зачастую очень сложно обосновать, в частности, потому что метрики качества модели бывает крайне не просто превратить в конкретные бизнес-показатели, связанные с деньгами. В данной статье я хочу предложить подход, связывающий метрики качества модели с ее финансовой полезностью, на примере одного класса моделей: моделей вероятности дефолта, хотя, по сути, аналогичные идеи могут быть использованы для любых моделей классификации.

Отмечая расхождения в трактовке en.Wikipedia и ру.Рувики, даётся комментарий к истории появления сплайн-функций. Рассматривается на конкретных примерах, как методы расчёта изгиба балок «предвосхитили» некоторые из достижений математической теории сплайнов.  

Когда речь заходит о законах сохранения, первым на ум приходит закон сохранения энергии. Менее известны законы сохранения заряда, импульса, момента импульса и чётности. Но что такое закон сохранения информации, зачастую не могут понятно объяснить даже сами физики. О нём мало пишут в научно-популярной литературе, потому что тема запутанная и нагружена математикой. А потом популяризаторов заводят в тупик, когда спрашивают, почему информация должна сохранятся в чёрных дырах или при квантовом измерении. Рассказать об этом не на математическом, а на естественном языке практически невозможно, но я всё же попробую, используя понятийный аппарат квантовой механики и аналогии с классической информацией. Мы выясним, что такое квантовая информация, сохраняется ли она при любых операциях с частицами, или есть исключения, которые приводят к потере информации, и как это связано с фундаментальной симметрией физических процессов.

Безотказный способ вовлечь людей в дискуссию – регулярно публиковать эту штуку в Twitter. Иногда я ненавижу подобные скрупулёзные разборы тем, но в данном случае, к чёрту, давайте разберём эту хреновину по косточкам, и посмотрим, сколько полезной информации мы можем из неё извлечь.

Начнём с очевидного.

Ожидаемая стоимость при выборе зелёной кнопки цвета составляет $25 млн.

Многие люди выберут красный. Некоторые из этих людей знают, что ожидаемая стоимость зелёного цвета составляет $25 млн, и всё равно выбирают красный.

Объяснение «на пальцах» и реализация решающего дерева, случайного леса и бустинга.

Дерево принятия решений (также называют деревом классификации или регрессионным деревом) — средство поддержки принятия решений, использующееся в машинном обучении, анализе данных и статистике. Структура дерева представляет собой «листья» и «ветки». На рёбрах («ветках») дерева решения записаны признаки, от которых зависит целевая функция, в «листьях» записаны значения целевой функции, а в остальных узлах — признаки, по которым различаются случаи. Чтобы классифицировать новый случай, надо спуститься по дереву до листа и выдать соответствующее значение.

В предыдущей (вводной) статье мы дали определения и математическое описание базовым понятиям связанным с Uplift моделированием. Рассмотрели принцип работы популярных Uplift моделей и их недостатки, а так же установили, как мы рассчитываем итоговый инкремент , дали определения контрольной и тестовой группам. А так же условились, что же такое воздействие на пользователя .

Среди проблем с которыми сталкиваются современные Uplif модели, пожалуй, самая серьезная - counterfactual sample pairs problem, рассмотренная так же в предыдущей статье.

Данная статься посвящена как раз нивелированию данной проблемы. Так как мы используем архитектуру KDSM Uplift modeling, то первые две буквы аббревиатуры (KD - Knowledge Distillation) представляют собой название модели, задача которой является создание подмножеств генерального множества, таким образом чтобы минимизировать или же по крайней мери свести к минимуму влияния counterfactual sample pairs problem на результат и точность итоговой модели. Само по себе слово Distillation намекает, что мы будем стремиться стратифицировать множество таким образом, чтобы можно было найти “похожих” друг на друга пользователей и из и соответственно, объединить их в одно подмножество, чтобы в дальнейшем можно было сделать допущение, что и представляют из себя уже единого синтетического пользователя . Где пользователь вместе с его параметрами выполняет роль пользователя, с которым мы не взаимодействовали , а пользователь вместе с его параметрами выполняет роль пользователя , с которым мы провзаимодействовали .

Эта короткая статья посвящена приблизительному описанию того, что происходит в моём инструменте для смешивания красок.

Инструмент предназначен для виртуального смешения красок, он содержит солвер, генерирующий рецепты для создания цвета из имеющихся красок. Инструмент поставляется с замеренными мной данными для красок Kimera. Он написан на Python 3; в репозитории есть все исходники, и если у вас есть дистрибутив Python, то его можно просто запустить. Также в репозитории есть исполняемый файл Windows, созданный при помощи PyInstaller (см. раздел Releases справа). Ещё я добавил версию для Mac; это файл .dmg и в нём что-то есть, а если нажать на него, инструмент запустится, так что, кажется, всё работает. Но, честно говоря, я редко пользуюсь Mac, поэтому мне сложно сказать, есть ли там всё нужное, или требуется что-то ещё...

Вы можете просто скачать инструмент и экспериментировать с ним. Развлекайтесь, надеюсь, он покажется вам хоть немного полезным.

Ниже представлено более-менее полное описание его работы (и условия, при которых он не работает).

Мы разберём несколько красивых комбинаторных задач, которые решаются элементарно – стоит перевести их условие на матричный язык. А как решать без матриц – непонятно. Вообще, теория матриц имеет огромную сферу применения в том числе в комбинаторике, теории графов.

Задача 1 (ШАД). В ШАД поступили всего студентов. Кураторы решили ограничить число доступных курсов и придумали набор простых правил:

Чуть больше месяца прошло с выхода статьи Избирательная система США глазами математика. Судя по количеству просмотров за прошедшее время, эта тема достаточно интересна читателям Хабра. В соответствии с результатами проведенного голосования, в котором с небольшим преимуществом победили желающие видеть на Хабре продолжение темы, выполняем это желание. Тем более, февраль подошел к концу и вполне естественно проанализировать итоги месяца. В этой и последующих публикациях будем также разбирать по одной математической теме, в том числе, с азами статистики и теории вероятностей.

В этой части «Наноматериалов и …» будем рассматривать многообразие математических основ устройства материальных тел и веществ. В первую очередь сюда относятся геометрические и алгебраические структуры, обеспечивающие строгое описание и моделирование твердых тел (кристаллов). Уже упоминалось ранее, что построение атомных (геометрических) решеток тел подчинено кристаллографическим законам, которые включают 230 кристаллографических групп, открытых (1890) российским ученым Федоровым Е.С. и немецким А. Шёнфлисом.

Здесь замечу, что вопросы устройства веществ напрямую касаются создания элементов (транзисторов, резисторов и др.) в наноэлектронике, фотонике и спинтронике, которые определяют не только настоящее, но и будущее IT-технологий. По-видимому, непонимание этого положения движет минусаторами в комментариях к моим статьям.

В спинтронике альтермагнетики могут иметь значительные применения в области разработки твердотельных аккумуляторов и компьютерной памяти. В то же время они могут обеспечить преимущества ферромагнетиков, которыми не обладают антиферромагнетики.

До недавнего времени реализация такой комбинации свойств считалась невозможной, и открытие альтермагнетизма предоставляет новые возможности для исследований и технологического развития. Интересно, что совсем недавно ученые открыли другую новую странную форму магнетизма – «кинетический ферромагнетизм».  Об этом рассказывается здесь.

Цель публикации в первую очередь образовательная, познавательная, облегчить самостоятельное овладение фундаментальными представлениями и понятиями, популяризация науки, а также стремление привлечь в ряды исследователей, в науку приток новых молодых умов, вызвать в таких умах стремление к поиску ответов на возникающие вопросы. Масштабность темы требует ввести разумные ограничения.

Леонид Маркович Скворцов. Широко известный в узких кругах математик, профессионально занимающийся математическими проблемами автоматического управления. Например, его авторские методы использованы в SimInTech. Данный текст, еще готовится к публикации. Но с разрешения автора, читатели Хабр будут первыми кто сможет оценить. Первая часть здесь... Вторая часть здесь...

Две предыдущие части были заполнены многоэтажными формулами в третей части разберем на примерах применение этих формул. Математику в жизнь!

Приведем примеры и покажем в видео как синтезировать регулятор для линейной модели двухроторного газотурбинного двигателя, работающего на базовом режиме малого газа, вместе с исполнительным механизмом. От теории к практике не приходя в сознание!

Интерпретация современных моделей машинного обучения может быть чрезвычайно сложным делом учитывая, что количество параметров и весовых коэффициентов может идти на тысячи и даже миллионы. Тем не менее это совершенно необходимо, для повышения качества, обеспечения стабильности и предсказуемости работы модели. В этом нам может помочь теория игр, математическая дисциплина позволяющая выделить из сложного взаимодействия факторов модели отдельный вклад каждого в конечное предсказание.