В этой статье буду рассмотрены основные задачи и формулы в вариационном исчислении. Также применение этих алгоритмов в машинном обучении.
В конце статьи будет объяснение теории вероятностных глубоких нейросетей, в котором как раз применяется вариационный вывод
Вариационное исчисление - раздел анализа, в котором изучаются вариации функционалов.
Цель данной статьи - поделиться результатами сравнительного анализ двух тестов на коинтеграцию, теста Энгла-Гренджера и теста Йохансена. Для этого нам понадобится рассмотреть соотношение между двумя и более переменными, понять, что такое VAR процесс, как перейти к VECM модели, в чем заключается процедура Йохансена, и как интерпретировать результат статистического теста, полученного от стандартного пакета типа Matlab.
Обзор построения и анализа парной линейной регрессионной модели с использованием библиотеки statsmodels
В книге «Пятьдесят занимательных вероятностных задач с решениями - Ф. Мостеллер» есть интересная задача про пьяницу, который с вероятностью 
делает один шаг к обрыву и с вероятностью 
один шаг от обрыва. Пьяница стоит на расстоянии одного шага от обрыва. Что можно сказать про вероятность того, что он упадет?
Различные источники утверждают, что последний Биткоин будет добыт в 2140 году и всего их будет 21.000.000, но нигде не сказано почему именно так, а не иначе? В этой статье я подробно раскрою ответ на этот вопрос.
Недавно я опубликовал на HABR'е статью про визуализацию кваннтового спина и сферы Блоха. После некоторых размышлений решил опубликовать в дополнении к этой статье следующий текст.
Компания Honeywell решила свернуть свой существующий бизнес и операции в России и Беларуси. Для многих нефтегазовых предприятий России это стало неприятным событием. Дело в том, что на опасных производственных объектах для обучения персонала обязаны использоваться компьютерные имитационные тренажеры и да, большинство компьютерных имитационных тренажеров в нефтегазовой промышленности создавалось именно на базе программного обеспечения Honywell Unisim. Спустя некоторое время начался процесс остановки таких программных и программно-аппаратных комплексов, т.к. необходима актуальная лицензия на Unisim, а продлить ее невозможно.
На рынке РФ, к сожалению, практически отсутствуют компании, ведущие разработку аналогичных тренажеров для нефтегазовых объектов, не используя UniSim. Причина достаточна проста, сейчас на рынке нет аналога ПО, в реальном времени позволяющего производить имитацию технологического процесса с достаточной точностью (3-7% отклонение от реальных данных), а также ПО, имитирующее реальные контроллеры системы автоматизации. Команды, создающие 3D-ходилки на Unity/Unreal, которых сейчас достаточно много, не способны устранить данную проблему, т.к. не работают с математическими моделями таких масштабов и точности, а в большинстве случаев, вообще не используют математический аппарат.
Некоторое время назад в ходе определенных рассуждений, явно не связанных с архитектурами искусственных нейронных сетей, у меня возникла, скажем так, гипотеза, которая могла бы объяснить, почему в свое время skip connections смогли произвести своего рода революцию в развитии глубокого обучения и позволили строить действительно глубокие нейронные сети. С тех пор много воды утекло, но все современные SOTA архитектуры являются в той или иной степени продолжением развития ResNet архитектур. Чего там говорить, даже в трансформерах есть skip connections. К сожалению, времени и сил на полноценное исследование нет и вряд ли найдется, а между тем идея кажется как минимум интересной с академической точки зрения, так и могущей возыметь практический выхлоп, а потому я бы хотел поделиться ею, по крайней мере, с аудиторией хабра.
В этой части я рассказываю про Взаимную Информацию – концепцию, которая открывает двери в помехоустойчивое кодирование, алгоритмы сжатия, а также даёт новый взгляд на задачи регрессии и Machine Learning.
Это необходимая компонента, чтобы в следующей части перейти к задачам ML как к задачам извлечения взаимной информации между факторами и прогнозируемой величиной.
Здесь будет три важных картинки.
Первая – про визуализацию энтропий двух случайных величин и их взаимную информацию, вторая – про понимание самой концепции зависимости двух случайных величин и про то, что нулевая корреляция не значит независимость, и третья – про то, что пропускная способность информационного канала имеет простую геометрическую интерпретацию через меру выпуклости функции энтропии.
Между делом мы докажем упрощённый вариант теоремы Шаннона-Хартли о максимальной пропускной способности канала с шумом. Погнали!
Теория Информации и Machine Learning мне видятся как интересная пара областей, глубокая связь которых часто неизвестна ML инженерам, и синергия которых раскрыта ещё не в полной мере.
Начнём с базовых понятий Энтропии, Информации в сообщении, Mutual Information, пропускной способности канала. Далее будут материалы про схожесть задач максимизации Mutual Information и минимизации Loss-а в регрессионных задачах. Затем будет часть про метрику Фишера, геодезические и градиентные методы, и их связь с гауссовскими процессами.
Многие удобные нам вещи — результат чьих-то расчётов. Благодаря людям, которые заняты этими расчётами, большинство может спокойно забыть о том, что многие важные аспекты нашей жизни зависят от чисел и их свойств. К старту нашего флагманского курса по Data Science напоминаем о математической красоте формата бумаги A4.
В настоящее время в интернете можно найти сайты с визуализацией некоторых квантовых процессов. Я решил сделать свой сайт с визуализацией квантового спина. Расскажу, как появилось желание сделать этот сайт и что на нем находится.
Или один очевидный факт о Книге Перемен
Есть такой памятник древнекитайской письменности, называемый «Книга Перемен». Подробно о нём можно почитать в Википедии. Я лишь напомню, что этот текст считается гадательным.
Продолжаем решать задачу описанную в предыдущей статье: Есть n стандартных игральных костей (6-ти гранных кубиков) со стандартным обозначением всех граней от 1 до 6. Бросаем все n кубики разом. Нужно найти вероятность выпадения числа k, а именно суммы всех значений, выпавших на этих кубиках. Доходим до 1000 кубиков.
Привет, Habr! На связи отдел аналитики данных X5 Tech.
Сегодня мы поговорим об очень интересном разделе прикладной математики — оптимизации.
Методический разбор для специалистов DataScience по применению критерия Эппса-Палли для проверки нормальности распределения средствами python
