Данная статья предназначена для тех, кто заинтересован в сохранении воспроизводимости своих записей на случай внезапного системного сбоя. Далее будут описаны харатктерные особенности целых и поврежденных файлов, записанных в нескольких наиболее известных форматах как MP4, MOV, MKV, FLV, рассмотрены особенности изменений в структуре файлов при различных условиях записи.
Новости
Кросс-компиляция Qt в России
Легальная установка Qt в России + кросс-компиляция Qt под Windows
Как написать средство проверки орфографии кхмерского языка
Материалом с подробностями о реализации средства проверки и исправления орфографии кхмерского языка, основного в Камбодже, делимся к старту флагманского курса по Data Science.
Введение в пороговую подпись (TSS) и другие криптографические примитивы
Привет! Работая в DeFi, мы часто сталкиваемся с тем, что в мире криптовалют активно используются инструменты, принцип работы которых понимают единицы пользователей. Все остальные либо понимают очень смутно, либо просто не знают, что такие инструменты есть. Для того, чтобы изменить сложившееся положение вещей, мы командой Symbiosis будем популярно объяснять, как и на чём работает наш протокол и почему мы считаем, что он такой классный!
Как в отчете Power BI вывести несколько параметров на графике
Мы создаем отчеты в Pbi для контекстной рекламы, и добавляем в них различные функции по запросу маркетолога или клиента. И часто бывает, что функционала базовых визуализаций становится недостаточно.
Например, как уместить все необходимые показатели на один график, чтобы можно было смотреть динамику, например, по расходу и доходу, а также по расходу и количеству покупок, расходу и ROI на одном графике?
Решаем задачу вывода нескольких показателей на график с возможностью выбора любых комбинаций. Вместо двух-трех графиков оставляем всего один, освобождаем место на дашборде. Расширяем функционал базовых визуализаций с помощью DAX.
Возьмем простой дата-сет для примера.
Долой указатели
Несколько лет назад среди C++ блоггеров завирусилась первоапрельская шутка о том, что C++ задепрекейтил указатели (например, Fluent C++ — в C++ больше не будет указателей). Что ж, поскольку C++ почти никогда ничего не депрекейтит, это была полная умора. Однако действительно ли нам до сих пор так необходимы указатели? Именно этот вопрос я и хочу осветить в сегодняшней статье.
Alexa 35: немцы опять подняли планку
На этой неделе ARRI анонсировала долгожданную кинокамеру Alexa 35 с первым за 11 лет принципиально новым сенсором. Традиционно у немецкого производителя не было громких спецификаций, которые хорошо выглядят в пресс-релизе – ни много "K", ни высокоскоростной съемки. Вместо этого фокус был сделан на качестве изображения: целью компании было и остается создание камер с лучшим по совокупности качеством изображения на рынке. Начиная с 2010 года Alexa, в её различных вариациях, была и остается отраслевым стандартом для верхнего эшелона кинопроизводства и высокобюджетной рекламы. А это значит, что качество изображения для режиссеров и операторов превалирует над всеми другими соображениями. Но настолько ли ощущается прирост в качестве по сравнению с предыдущим поколением или мы достигли уровня плацебо? И не потеряла ли Alexa 35 в практичности в реалиях современного кинопроизводства?
Написание тестов API на JavaScript с Pactum
Я не знал ни об одной JavaScript-библиотеке, которая была бы проста в использовании, до тех пор, пока я не увидел чью-то статью про Pactum на LinkedIn. Pactum меня заинтересовал, и я решил поработать с ним.
Зачем тимлиду актерское мастерство?
Вы — тимлид, и вы всегда будете в центре внимания группы. Своей, смежной или других руководителей на совещании. Но хотите ли вы в этот момент быть настолько свободным в своем общении, чтобы использовать абсолютно все доступные вам средства подкрепления своей мысли, которые придут вам в голову?
На прошлогоднем TeamLead Conf Анастасия Абрашитова, руководитель службы экосистемы репозитория Яндекса и автор канала Записки из горящего дома, показала этюд про уточку в конце выступления. Просто для иллюстрации, как актерское мастерство может изменить вас: вы преодолеете стеснительность, слегка раскрепоститесь и прокачаете новые навыки коммуникации. Давайте посмотрим, в чем секрет влияния актерского мастерства для тимлидов.
Важная причина поражения СССР в цивилизационной гонке с Западом
Когда-то, я написал статью, которая, на мой взгляд, только увеличила актуальность сегодня в свете произошедших тектонических сдвигов во внешней политики и попыток ответа на эти вызовы во внутренней политике России: Ещё одна причина поражения СССР в цивилизационной гонке с Западом (часть 1 и 2). - ЭконоИнженерика — ЖЖ (livejournal.com)
Понятно, что тема поиска причин краха СССР в его соревновании с Западом неисчерпаема.Одной из популярных теорий тут является теория, основанная на сравнении размера экономик, контролируемых советским и западными блоками. Сравнивая эти экономики адепты такой теории приходят к выводу о том, что размер рынка на контролируемой СССР территории был в разы меньше, а, следовательно конкурентоспособность производства потребительских товаров была в разы ниже (так как известна зависимость себестоимости производства от его масштабов).В качестве критики такой теории можно привести несколько аргументов:Во-первых, не всегда под крылом СССР был много меньший, чем у Запада, рынок. Были годы, когда СССР был дружен с коммунистическим Китаем, и тогда общий рынок стран социалистического лагеря был соизмерим с рынком стран Западного блока.Во-вторых, не все товары имеют линейную динамику себестоимости от объемов производства. Так сложные продукты, типа автомобилей, вполне способны иметь конкурентную себестоимость при объёмах производства намного ниже, чем размеры рынка в странах бывшего советского блока. Но мы все видели, какое качество автомобилей могла предложить советская промышленность ;-) При том, что как раз стоимость советских автомобилей была очень небольшой.
Как мы участвовали в чемпионате по DS длиной 3.5 месяца
В марте 2021 года HeadHunter купил портал Dream Job и позже дополнительно встроил интерфейс оценки работодателя на свой сайт. Видимо, количество отзывов резко увеличилось настолько, что их стало сложно обрабатывать в ручном режиме. В результате, задача модерации отзывов была переведена в термины классификации и организован чемпионат на платформе Boosters для решения этой задачи.
Соревнования по анализу данных, в которых целевую переменную можно разметить ручками, принято проводить в Docker-формате. Однако, соревнование длилось 3,5 месяца и в целях учета интересов как организаторов, так и участников, проходило в 3 этапа. В соревновании участвовала команда лаборатории машинного обучения Альфа-Банка: я, Андрей Сон — специалист по интеллектуальному анализу данных, и Женя Смирнов — руководитель лаборатории.
Мы заняли второе место, чуть не дотянув до первого — разрыв составлял 0.0001 метрики. Дальше подробно расскажем, что происходило на каждом этапе, какие перед нами стояли задачи и как мы их решали.
Использование хеш-значений с обработкой коллизий в качестве суррогатных ключей в справочниках DWH
Общеизвестно, что в хранилищах данных для связи таблиц фактов со справочниками используются суррогатные ключи. В большинстве случаев это целочисленный счетчик, который взаимно однозначно определяет бизнес ключ (или бизнес ключ плюс зависимость от времени для медленно меняющихся справочников). С увеличением объемов обрабатываемой информации в случае большой кардинальности справочников использование счетчиков в качестве суррогатных ключей становится проблемой с точки зрения производительности, т.к. при загрузке фактов необходимо определить значение суррогатного ключа по довольно большому справочнику. Для решения этой проблемы многие компании переходят на формирование суррогатных значений на основе хеш-значений бизнес-ключей.
Flash attention is all you need
Всем привет.
Характерной тенденцией последних нескольких лет в глубоком обучении является проникновение трансформера в различные сферы деятельности, где только можно и нельзя (но если очень хочется, то можно) применить нейронные сети. Универсальность архитектуры позволяет работать с самыми разнообразными данными, предварительно превращая их в последовательность токенов, будь то текст, картинки, аудио, видео или даже состояние среды.
Но за невероятную мощь и гибкость архитектуры приходится платить значительной вычислительной сложностью и расходом памяти, ибо сие многоголовое чудище ненасытно в отношении памяти, особенно для длинных последовательностей, что ограничивает применимость моделей на практике. Да и даже при наличии серьезных вычислительных ресурсов обучение моделей на серьезных задачах - дело отнюдь не быстрое.
В недалеком прошлом вышла целая плеяда работ посвященных удешевлению дорогой операции внимания посредством построения различных приближений, сводящих квадратичную по длине последовательности вычислительную сложность и расход памяти к субквадратичной за счет приближения матрицами более низкого ранга, хэшированием, разреженного внимания, локального внимания, комбинированного и вагон и маленькая тележка других идей. Многие подходы показали себя довольно неплохо, давая небольшую потерю в качестве относительно исходного vanilla attention, но все-таки внимание в его первозданном виде было и остается наиболее распространенным.
И на днях вышла работа Flash Attention, где был предложен способ существенно ускорить вычисление attention на GPU, причем никак не меняя конечный результат. То есть делается то же самое, что и раньше, но по-другому.
Расшаривание USB-устройства по нескольким клиентам через TCP
Будучи увлечённым астрофотографом, я использовал в комплекте оборудования USB Sky Quality Meter (измеритель качества неба), и однажды мне потребовалось организовать к нему общий доступ от нескольких профильных приложений. Однако я не хотел заменять его на Ethernet-версию или докупать такой для каждой установки, поэтому решил просто написать собственную программу.
Карьера аналитика 1С: куда расти, если ты успешен в IT
В связи с развитием решений на базе 1С профессия аналитик 1С стала одной из наиболее востребованных и доходных технических специальностей в России и странах СНГ. По данным из аналитического исследования «Крупнейшие ИТ-разработчики России 2020», «1С» оказалась лидером среди отечественных разработчиков программного обеспечения. Более 1,5 миллиона государственных учреждений и компаний различных отраслей отдают предпочтение программным продуктам фирмы «1С». А в условиях импортозамещения они будут еще более востребованы. В связи с этим спрос на аналитиков 1С будет расти.
Первый опыт майнинга
Недавно я написал про p2p-экосистему, чем вызвал бурную и интересную реакцию в комментариях. Поэтому решил продолжить.
В экосистеме есть возможность покупки-продажи товаров и услуг – при этом все транзакции анонимны. Есть специальные Crypto-карты даже имя аккаунта не будет видно продавцу. Поэтому первое, что пришло в голову при использовании – запустить майнинг, намайнить местных криптонов и что-то на них купить.
Но тут пришлось столкнуться с препятствиями в виде повышенной сложности запуска этого процесса. Пришлось немного поколдовать с виртуальной машиной.
Как создать CDN в отдельно взятой стране
Тема задержки доступа и скорости извлечения сетевых ресурсов никогда не перестанет быть актуальной. Максимально близкое расположение источника влияет не только на скорость загрузки и пользовательский опыт, но и на эффективность работы глобальной сети в целом, поскольку позволяет локализовать трафик и сократить загрузку магистральных каналов, предпочитая использовать кэшированные или расположенные локально реплики сетевых ресурсов. Не случайно Google реализует модель сохранения локальных кэшей на оборудовании крупных региональных провайдеров (Google Global Cache) и интеллектуальные алгоритмы в маршрутизации на ближайшую реплики. В этой статье мы обсудим различные подходы к реализации распределенной сети доставки контента (Content Delivery Network, он же CDN), а также акцентируем возможные решения для создания CDN в масштабах отдельно взятой страны или города.
Как благодаря нераскрывшемуся парашюту возникла дополненная реальность
После нескольких лет устойчивого развития дополненная реальность, наконец-то, находится на пороге большого взлёта. Все больше инструментов и решений делают ее ближе к народу. Команда М.Видео и Эльдорадо активно следит за всеми трендовыми технологиями. Тем интереснее погрузиться в историю AR. Под катом любопытное повествование от одного из пионеров развития этой технологии, Луиса Розенберга.
Бот на .NET. Telegram + Google API
Очень долгое время слушал музыку непосредственно в Telegram. Там и пообщаться можно и проигрыватель довольно удобный. Но рано или поздно - каждый сталкивается с проблемой, когда свой плейлист надоедает и хочется чего-то нового. В YouTube Music есть довольно удобная функция, которая позволяет, каждый день довольствоваться новой музыкой. Что я имею ввиду? При включении любой песни, далее проигрывается трек, который похож на предыдущий. Таким образом можно постоянно открывать для себя новые музыкальные горизонты :)
В Телеграмме у меня было сохранено более 1000 песен. Я решил написать бота, который будет считывать пересланную музыку из ТГ, создавать плейлист в YouTube и загружать все песни туда. Таким образом и чему-то новому научусь и песни загружу(ну и если кому-то из знакомых понадобятся услуги моего бота, это может сэкономить им время, хотя я мало верю, что кому-то это пригодится, это больше небольшой, учебный проектик).
ТОП-3 ИБ-событий недели по версии Jet CSIRT
Сегодня в подборке новостей от Jet CSIRT — три уязвимости: в Microsoft Office, чипсетах UNISOC и Windows Search. Новости собирал Андрей Маслов, аналитик центра мониторинга и реагирования на инциденты ИБ Jet CSIRT компании «Инфосистемы Джет».
Подробнее — под катом.