Наш мир удивителен, простые на первый взгляд вещи оказываются очень сложными внутри. Так что же скрывает в себе обычная линия? Для ответа на вопрос, прошу под кат.
Математика *
Царица всех наук
Новости
Алгоритм деления 2W-разрядных чисел с использованием операций с числами разрядностью W
На примере 32-битных целых чисел рассматривается масштабируемый алгоритм деления, использующий числа с двукратно меньшей (16 бит) разрядностью. Для иллюстрации работоспособности алгоритма приведен код тестового приложения на языке С++.
Теория хаоса, синергетика, неравновесная термодинамика – науки о сложных адаптивных системах
Являются ли случайность и хаос фундаментальными свойствами нашего мира, или за ними всегда скрывается некий порядок, а нам просто не хватает знаний и точности измерений, чтобы его постичь? Изучением этого вопроса занимаются несколько тесно связанных между собой междисциплинарных наук: синергетика, неравновесная термодинамика, теория хаоса, теория катастроф, фрактальная геометрия, теория систем и кибернетика. На первый взгляд эти дисциплины очень абстрактны и совершенно непонятны без изучения их сложного математического аппарата. Но в действительности они гораздо ближе к жизни, чем квантовая механика или теория относительности, поскольку имеют дело не со «сферическими конями в вакууме», а с реальными процессами.
О явлениях хаоса и самоорганизации я рекомендую прочитать книгу Джеймса Глейка «Хаос. Создание новой науки» (1987). Если же у вас нет ни времени, ни желания изучать всю историю науки о хаосе, вы узнаете всё самое важное из данной статьи. Здесь я разъясняю множество специфических терминов, которые приведут в ужас даже хорошо образованного человека: эмерджентность, синергия, флуктуации, диссипативные структуры, динамический хаос, точка бифуркации, аттракторы, фракталы и т.д. Также мы выясним, не противоречит ли самоорганизация второму началу термодинамики и действительно ли случайность, необратимость и неустойчивость являются источниками всякого развития.
«42» как ответ на пять фундаментальных вопросов науки
Одна из самых забавных историй во всей научной фантастике — книжка «Автостопом по Галактике» Дугласа Адамса, в одном из эпизодов которой суперкомпьютеру поручили найти «ответ». Созданный якобы для того, чтобы дать ответ на «главный вопрос о жизни, Вселенной и всём остальном», компьютер тратит 7,5 миллиона лет на вычисление ответа и наконец выдаёт его: 42. Только вот когда ответ, наконец, раскрывается, никто не может вспомнить, в чём же, собственно, заключался «главный вопрос». Это ещё один пример того, что не стоит быть настолько одержимым идеей добраться до цели, чтобы изначально потерять из виду весь смысл путешествия – тогда её достижение уже не будет иметь значения,
К счастью для нас, существует ряд возможных вопросов-кандидатов, которые мы можем использовать задним числом, поскольку они действительно могут быть тем самым окончательным вопросом – ведь нам известно, что ответ на эти вопросы действительно «42». Мог ли хоть один из этих вариантов быть тем, о чём спрашивали суперкомпьютер, когда речь шла о раскрытии ответа на «главный вопрос о жизни, Вселенной и всём остальном»? Хотя никто не может быть уверен, даже в вымышленном мире Дугласа Адамса, вот пять возможных вопросов, которые относятся к числу самых увлекательных. Ответом на каждый из них действительно будет «42», и, возможно, один из них покажется вам по-настоящему захватывающим.
Истории
Вербальные вычисления (VC) в доказательных DSS и NLP
С.Б. Пшеничников
В статье изложен новый математический аппарат вербальных вычислений в NLP (обработке естественного языка). Слова погружаются не в действительное векторное пространство, а в алгебру предельно разреженных матричных единиц. Вычисления становятся доказательными и прозрачными. На примере показаны развилки в вычислениях, которые остаются незамеченными при использовании традиционных подходов, а результат при этом может быть неожиданным.
Использование IT в обработке естественного языка (Natural Language Processing, NLP) требует стандартизации текстов, например, токенизации или лемматизации. После этого можно пробовать применять математику, поскольку она является высшей формой стандартизации и превращает исследуемые объекты в идеальные, например, таблицы данных в матрицы элементов. Только на языке матриц можно искать общие закономерности данных (чисел и текстов).
Если текст превращается в числа, то в NLP это сначала натуральные числа для нумерации слов, которые затем погружаются в действительное векторное пространство.
Возможно, следует не торопиться это делать, а придумать новый вид чисел более пригодный для NLP, чем числа для исследования физических явлений. Такими являются матричные гипербинарные числа. Гипербинарные числа - один из видов гиперкомплексных чисел.
Для гипербинарных чисел существует своя арифметика и если к ней привыкнуть, то она покажется привычнее и проще пифагорейской арифметики.
В системах поддержки принятия решений (DSS) текстами являются оценочные суждения и пронумерованная шкала вербальных оценок. Далее (как и в NLP) номера превращаются в векторы действительных чисел и используются как наборы коэффициентов средних арифметических взвешенных.
Решение проблемы дымки на изображениях с использованием .NET: Простой и эффективный подход
Простое .NET решение для четких фото: избавьтесь от дымки или тумана на изображениях всего за несколько шагов!
ViT для новичков: как нейросети научились определять зависимости в изображениях
В этой статье мы попытаемся рассказать про трансформерную архитектуру VIT и предысторию его формирования. Сегодня не совсем понятно, почему этот "формат" нейронок настолько эффективен. Некоторые говорят механизм внимания, но некоторые практики делают больше ставок в области Computer Vision на MetaFormer. https://github.com/sail-sg/poolformer
Нейросети остаются для нас “теневым” процессом, подобным черному ящику. И изучение Deep Learning уже напоминает больше не математику, а биологию, где мы следим за поведением нашего детища.
«А» и «Б» сидели на трубе. «А» упало, «Б» пропало. Что осталось на трубе? (алгоритм получения ответа в частном случае)
Началось всё с того, что не нашел я библиотеки для JavaScript, которая вычисляет собственные векторы для комплекснозначной матрицы 4х4. Пришлось писать самому.
И в ходе реализации встала передо мной этакая бодренькая микрозадачка – из набора чисел «1, 2, 3, 4» вычеркнули два числа «x, y» (неодинаковых – кто-то придет завтра и задаст эти два числа, а мы сегодня должны приготовиться), требуется объяснить компьютеру, как определить оставшиеся, невычеркнутые числа. И я завис – все идеи, которые приходили мне в голову, казались «неспортивными и чрезмерными» – ну не пузырьковой же сортировкой перебирать четыре числа, должно же быть что-то элегантное. Например, если вычеркнуто не два, а три числа «x, y, z» из четырех «x, y, z, t» (которые «1, 2, 3, 4»), то оставшееся число «t» находится так: t = 10 – (x+y+z)
. Потому что t+x+y+z = 10
(всегда: 10=1+2+3+4
). Вполне элегантно для одного оставшегося числа. А для двух чисел – как быть с элегантностью?!
Решение я нашел – озарило по дороге домой – прям шарахнуло с неба по башке; я даже не поверил сначала, что это оно – показалось мороком усталого мозга. И оно работает не только для четырех чисел – можно решить задачу «из n последовательных чисел вычеркнуто k различных чисел, требуется вернуть остаток» (что осталось на трубе).
Я предложил эту задачку с «n, k»-условием знакомым программистам в качестве застольного анекдота, для развлечения (сам я не программист, честно – мне просто сильно занадобилось объяснить Яваскрипту, как вычислять собственные векторы комплекснозначной матрицы 4х4). Сначала я выслушал их предложения (предлагали «упорядочивание k чисел с последующим перебором n чисел» и «воспользоваться встроенной функцией вычитания множеств»). Потом я рассказал свое решение. Они сказали: «Ну круто, да».
Не думаю, что я совершил великое открытие – скорее всего, этот подход где-нибудь преподается студентам и давно вшит во все языки программирования – но заинтересованные люди, которые эту мелочь не знали (например, я не знал, мои друзья не знали), мне кажется, получат удовольствие – когда ознакомятся.
Моделирование курса валют методом Монте-Карло
Метод Монте-Карло — это мощный инструмент стохастического моделирования, который используется в самых разнообразных областях науки и инженерии. В финансах, этот метод часто применяется для анализа и прогнозирования временных рядов, таких как курс валют или акций. Использование Монте-Карло позволяет оценить не только ожидаемые значения, но и распределение возможных исходов, что крайне важно для управления рисками и принятия обоснованных инвестиционных решений.
Принцип метода заключается в выполнении большого количества стохастических экспериментов (симуляций), основанных на случайных выборках из вероятностных распределений входных параметров. В контексте прогнозирования курса валют, это позволяет моделировать различные экономические сценарии и оценивать потенциальные колебания валютных пар, используя исторические данные.
Ключевой аспект использования Монте-Карло в финансах — это его способность учитывать и анализировать волатильность и дрейф курсов валют. Для повышения точности моделирования и реалистичности получаемых данных часто применяется ГАРЧ модель (Generalized Autoregressive Conditional Heteroskedasticity). ГАРЧ помогает адекватно оценить и моделировать изменчивость волатильности, что является критичным при анализе финансовых временных рядов.
Идейно код выполнялся без готовых реализованных методов из различных либ.
Проект использует следующие библиотеки и инструменты:
Parasolid inside: новые форматы и другие доработки C3D Converter
Александр Спиваков, руководитель команды разработки C3D Converter, C3D Labs, описывает роль конвертера в качестве части C3D Toolkit, представляет сценарии использования C3D Converter — миграция и MultiCAD — в пользовательских приложениях, знакомит с доработками решения, сделанными в контексте этих задач, и планами развития конвертера.
Что собой представляет C3D Converter в составе C3D Toolkit и зачем он нужен? Глобально перед нами стоят две задачи.
Линеаризация: зачем и как укрощать ratio-метрики в A/B-тестах
Привет, Хабр! В прошлой статье я указал, что в A/B-тестах используются три основных типа метрик, а именно пользовательские конверсии, средние метрики пользователей и ratio-метрики. К последним обычно относят средний чек, CTR баннера, среднюю длину сессии и др. Такие метрики имеют ограничения при оценке стандартными статистическими критериями и общую особенность определения в контексте экспериментов.
В этой статье формализуем понятие ratio-метрики, подробнее и на примере посмотрим на их ограничения и разберем как инвалидировать результаты своих экспериментов, если эти ограничения игнорировать. Откроем для себя метод линеаризации ratio-метрик, разберем как и почему он работает, какая интерпретация стоит за его преобразованием, а также определим его преимущества в сравнении с предусредненным средним, бутстрапом и дельта-методом.
Анонимная сеть Hidden Lake → анализ QB-сетей, функций шифрования и микросервисов на базе математических моделей
Анонимная сеть Hidden Lake (HL) - это децентрализованная F2F (friend-to-friend) анонимная сеть с теоретической доказуемостью. В отличие от известных анонимных сетей, подобия Tor, I2P, Mixminion, Crowds и т.п., сеть HL способна противостоять атакам глобального наблюдателя. Сети Hidden Lake для анонимизации своего трафика не важны такие критерии как: 1) уровень сетевой централизации, 2) количество узлов, 3) расположение узлов и 4) связь между узлами в сети.
KPConv на русском: Свертки для point cloud
Приветствую всех!
В этой публикации я попробую максимально просто и наглядно рассказать о сверточном слое для point cloud. Перед вами статья, объясняющая KPConv — метода работы с облаками точек без их преобразования в промежуточные форматы, такие как воксели. Моя недавняя задача, связанная с совмещением облаков точек, заставила обратиться к нейронным сетям из за разной плотности точек в местах пересечений. И вот, исследуя возможные подходы, я обнаружил решение в котором использовали KPConv, который позволил извлекать признаки из точек по аналогии извлечений признаков из пикселей.
Информации на русском языке о данной структуре очень мало, поэтому я постарался сделать материал доступным и содержательным.
Ближайшие события
ГАЙД по python стеку для Data Science инженеров
Data science - это область, которая занимается изучением и анализом больших объемов данных, чтобы находить в них полезные закономерности, делать прогнозы или принимать решения на основе фактов. Самым популярным языком программирования для data science является Python. Библиотеки pyhton, о которых пойдет речь: NumPy, SciPy, Pandas, Matplotlib. Статья написана для новичков, которые хотят узнать о python стеке для data science.
Совершенный кубоид
Новые свойства совершенного кубоида. А именно взаимная простота боковых диагоналей и главной диагонали.
Разработка программного средства по обработке данных фонокардиограммы
Медицинские исследования играют важную роль в понимании различных заболеваний и разработке эффективных методов лечения. Одним из инструментов, используемых в кардиологии, является фонокардиограмма (ФКГ).
Фонокардиограмма - это метод диагностики сердечно-сосудистой системы, который основывается на записи звуков, производимых сердцем. Она может быть полезной в определении различных заболеваний сердца, таких как стеноз клапана, митральный стеноз, митральную недостаточность, перикардит и другие.
ФКГ может использоваться для оценки эффективности лечения сердечных заболеваний и для наблюдения за состоянием сердца в течение времени. Если у вас есть симптомы, такие как боль в груди, одышка, учащенный пульс, упадок сил, обратитесь к кардиологу, который посоветует, нужна ли вам ФКГ [1].
Объектом исследования выпускной квалификационной работы является список файлов формата .csv, содержащих разделенные знаком ";" смещенные целочисленные значения амплитуды шумов сердца, записанные в течение нескольких секунд, частота дискретизации – 1000 гц (числа в записи обозначают амплитуду сигнала, временной промежуток между соседними значениями - 1 миллисекунда).
Цель работы состоит в создании алгоритма автоматической интерпретации снятых данных, который пытается по форме кривых делать выводы, аналогичные тем, которые по этим же кривым умеет делать эксперт и создание собственного алгоритма. Необходимо определить и выделить точку максимальной амплитуды, начало и окончание тона 1 для каждого из сердечных циклов. Ответ необходимо вывести в виде списка списков [t1, t2, t3], где t1 – начало тона 1, t2 – точка максимальной амплитуды, t3 – окончание тона 1. Также, для проверки результата, необходимо визуализировать полученный результат на графике. Данную процедуру необходимо произвести для каждого файла.
Ссылка на github: medical_date/script.py at main · ReshetnikovDmitrii4918/medical_date (github.com)
T-test. Зависимость от независимости
Привет, Хабр! В статье подробно рассмотрим область применения самого базового статистического критерия Стьюдента. Посмотрим, как он ведёт себя, когда мы не хотим отдавать качество подбора наших групп на волю случая.
Математическое моделирование может увеличивать производительность в 3 раза
Математическое моделирование новых материалов позволяет существенно увеличивать скорость разработки новых версий продуктов. В этом многие производители из разных отраслей промышленности уже убедились на собственном опыте.
Автоматически выделяем кусочно-линейные тренды временного ряда
Меня зовут Антон Сорока, я математик и аналитик данных.
Я хотел бы рассказать об алгоритме, который выделяет кусочно-линейный тренд из временного ряда и сам определяет точки изменения тренда. Другими словами, это алгоритм для автоматического кусочно-линейного приближения любой функции. Это может понадобиться, если вам важно анализировать линейные тренды ряда, но единственная линия явно недостаточно точно описывает ряд, и самостоятельно искать точки, где тренд менялся, неудобно. Реализация этого алгоритма есть в open-source библиотеке для анализа изменений временных рядов, написанной на Python.
Рассуждение о природе «замороженной случайности» в распределении простых чисел
Недавно в ленте FB попалось интереснейшее видео Теория Всего и феноменологическая Теория Сложности. Что это и почему это важно? где, помимо всего прочего интересного, прозвучала следующая цитата
Вклад авторов
alizar 1779.0andreybrylb 1536.0haqreu 1513.0samsergey 1497.0varagian 1161.0Sirion 1085.0Tzimie 1078.0Dmytro_Kikot 1047.0mkot 980.0