Как стать автором
Обновить

Все потоки

Сначала показывать
Порог рейтинга

Предотвращение крашей в медиаконтейнерах

Восстановление данных *Работа с видео *
Из песочницы

Данная статья предназначена для тех, кто заинтересован в сохранении воспроизводимости своих записей на случай внезапного системного сбоя. Далее будут описаны харатктерные особенности целых и поврежденных файлов, записанных в нескольких наиболее известных форматах как MP4, MOV, MKV, FLV, рассмотрены особенности изменений в структуре файлов при различных условиях записи.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 74
Комментарии 0

Новости

Как написать средство проверки орфографии кхмерского языка

Блог компании SkillFactory Python *Программирование *Алгоритмы *
Перевод

Материалом с подробностями о реализации средства проверки и исправления орфографии кхмерского языка, основного в Камбодже, делимся к старту флагманского курса по Data Science.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 299
Комментарии 0

Введение в пороговую подпись (TSS) и другие криптографические примитивы

IT-инфраструктура *IT-компании
Из песочницы

Привет! Работая в DeFi, мы часто сталкиваемся с тем, что в мире криптовалют активно используются инструменты, принцип работы которых понимают единицы пользователей. Все остальные либо понимают очень смутно, либо просто не знают, что такие инструменты есть. Для того, чтобы изменить сложившееся положение вещей, мы командой Symbiosis будем популярно объяснять, как и на чём работает наш протокол и почему мы считаем, что он такой классный!

Читать далее
Рейтинг 0
Просмотры 672
Комментарии 7

Как в отчете Power BI вывести несколько параметров на графике

Визуализация данных
Из песочницы

Мы создаем отчеты в Pbi для контекстной рекламы, и добавляем в них различные функции по запросу маркетолога или клиента. И часто бывает, что функционала базовых визуализаций становится недостаточно.

Например, как уместить все необходимые показатели на один график, чтобы можно было смотреть динамику, например, по расходу и доходу, а также по расходу и количеству покупок, расходу и ROI на одном графике?

Решаем задачу вывода нескольких показателей на график с возможностью выбора любых комбинаций. Вместо двух-трех графиков оставляем всего один, освобождаем место на дашборде. Расширяем функционал базовых визуализаций с помощью DAX.

Возьмем простой дата-сет для примера.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 365
Комментарии 0

Долой указатели

Блог компании OTUS Программирование *C++ *
Перевод

Несколько лет назад среди C++ блоггеров завирусилась первоапрельская шутка о том, что C++ задепрекейтил указатели (например, Fluent C++ — в C++ больше не будет указателей). Что ж, поскольку C++ почти никогда ничего не депрекейтит, это была полная умора. Однако действительно ли нам до сих пор так необходимы указатели? Именно этот вопрос я и хочу осветить в сегодняшней статье.

Читать далее
Всего голосов 5: ↑2 и ↓3 -1
Просмотры 2.3K
Комментарии 8

Alexa 35: немцы опять подняли планку

Работа с видео *Фототехника Видеотехника

На этой неделе ARRI анонсировала долгожданную кинокамеру Alexa 35 с первым за 11 лет принципиально новым сенсором. Традиционно у немецкого производителя не было громких спецификаций, которые хорошо выглядят в пресс-релизе – ни много "K", ни высокоскоростной съемки. Вместо этого фокус был сделан на качестве изображения: целью компании было и остается создание камер с лучшим по совокупности качеством изображения на рынке. Начиная с 2010 года Alexa, в её различных вариациях, была и остается отраслевым стандартом для верхнего эшелона кинопроизводства и высокобюджетной рекламы. А это значит, что качество изображения для режиссеров и операторов превалирует над всеми другими соображениями. Но настолько ли ощущается прирост в качестве по сравнению с предыдущим поколением или мы достигли уровня плацебо? И не потеряла ли Alexa 35 в практичности в реалиях современного кинопроизводства?

Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 3.4K
Комментарии 5

Написание тестов API на JavaScript с Pactum

Блог компании OTUS JavaScript *Тестирование веб-сервисов *
Перевод

Я не знал ни об одной JavaScript-библиотеке, которая была бы проста в использовании, до тех пор, пока я не увидел чью-то статью про Pactum на LinkedIn. Pactum меня заинтересовал, и я решил поработать с ним.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 428
Комментарии 0

Зачем тимлиду актерское мастерство?

Блог компании Конференции Олега Бунина (Онтико) Управление разработкой *Управление проектами *Управление сообществом *Карьера в IT-индустрии

Вы — тимлид, и вы всегда будете в центре внимания группы. Своей, смежной или других руководителей на совещании. Но хотите ли вы в этот момент быть настолько свободным в своем общении, чтобы использовать абсолютно все доступные вам средства подкрепления своей мысли, которые придут вам в голову?

На прошлогоднем TeamLead Conf Анастасия Абрашитова, руководитель службы экосистемы репозитория Яндекса и автор канала Записки из горящего дома, показала этюд про уточку в конце выступления. Просто для иллюстрации, как актерское мастерство может изменить вас: вы преодолеете стеснительность, слегка раскрепоститесь и прокачаете новые навыки коммуникации. Давайте посмотрим, в чем секрет влияния актерского мастерства для тимлидов.

Читать далее
Всего голосов 9: ↑7 и ↓2 +5
Просмотры 1K
Комментарии 2

Важная причина поражения СССР в цивилизационной гонке с Западом

Чулан

Когда-то, я написал статью, которая, на мой взгляд, только увеличила актуальность сегодня в свете произошедших тектонических сдвигов во внешней политики и попыток ответа на эти вызовы во внутренней политике России: Ещё одна причина поражения СССР в цивилизационной гонке с Западом (часть 1 и 2). - ЭконоИнженерика — ЖЖ (livejournal.com)

Понятно, что тема поиска причин краха СССР в его соревновании с Западом неисчерпаема.Одной из популярных теорий тут является теория, основанная на сравнении размера экономик, контролируемых советским и западными блоками. Сравнивая эти экономики адепты такой теории приходят к выводу о том, что размер рынка на контролируемой СССР территории был в разы меньше, а, следовательно конкурентоспособность производства потребительских товаров была в разы ниже (так как известна зависимость себестоимости производства от его масштабов).В качестве критики такой теории можно привести несколько аргументов:Во-первых, не всегда под крылом СССР был много меньший, чем у Запада, рынок. Были годы, когда СССР был дружен с коммунистическим Китаем, и тогда общий рынок стран социалистического лагеря был соизмерим с рынком стран Западного блока.Во-вторых, не все товары имеют линейную динамику себестоимости от объемов производства. Так сложные продукты, типа автомобилей, вполне способны иметь конкурентную себестоимость при объёмах производства намного ниже, чем размеры рынка в странах бывшего советского блока. Но мы все видели, какое качество автомобилей могла предложить советская промышленность ;-) При том, что как раз стоимость советских автомобилей была очень небольшой.

Читать далее
Всего голосов 30: ↑12 и ↓18 -6
Просмотры 4.9K
Комментарии 157

Как мы участвовали в чемпионате по DS длиной 3.5 месяца

Блог компании Альфа-Банк Data Mining *Big Data *Машинное обучение *
Из песочницы

В марте 2021 года HeadHunter купил портал Dream Job и позже дополнительно встроил интерфейс оценки работодателя на свой сайт. Видимо, количество отзывов резко увеличилось настолько, что их стало сложно обрабатывать в ручном режиме. В результате, задача модерации отзывов была переведена в термины классификации и организован чемпионат на платформе Boosters для решения этой задачи.

Соревнования по анализу данных, в которых целевую переменную можно разметить ручками, принято проводить в Docker-формате. Однако, соревнование длилось 3,5 месяца и в целях учета интересов как организаторов, так и участников, проходило в 3 этапа. В соревновании участвовала команда лаборатории машинного обучения Альфа-Банка: я, Андрей Сон — специалист по интеллектуальному анализу данных, и Женя Смирнов — руководитель лаборатории.

Мы заняли второе место, чуть не дотянув до первого — разрыв составлял 0.0001 метрики. Дальше подробно расскажем, что происходило на каждом этапе, какие перед нами стояли задачи и как мы их решали. 

Читать далее
Всего голосов 17: ↑17 и ↓0 +17
Просмотры 709
Комментарии 0

Использование хеш-значений с обработкой коллизий в качестве суррогатных ключей в справочниках DWH

Big Data *Data Engineering *
Из песочницы

Общеизвестно, что в хранилищах данных для связи таблиц фактов со справочниками используются суррогатные ключи. В большинстве случаев это целочисленный счетчик, который взаимно однозначно определяет бизнес ключ (или бизнес ключ плюс зависимость от времени для медленно меняющихся справочников). С увеличением объемов обрабатываемой информации в случае большой кардинальности справочников использование счетчиков в качестве суррогатных ключей становится проблемой с точки зрения производительности, т.к. при загрузке фактов необходимо определить значение суррогатного ключа по довольно большому справочнику. Для решения этой проблемы многие компании переходят на формирование суррогатных значений на основе хеш-значений бизнес-ключей.

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Просмотры 555
Комментарии 8

Flash attention is all you need

Высокая производительность *Машинное обучение *

Всем привет. 

Характерной тенденцией последних нескольких лет в глубоком обучении является проникновение трансформера в различные сферы деятельности, где только можно и нельзя (но если очень хочется, то можно) применить нейронные сети. Универсальность архитектуры позволяет работать с самыми разнообразными данными, предварительно превращая их в последовательность токенов, будь то текст, картинки, аудио, видео или даже состояние среды.

Но за невероятную мощь и гибкость архитектуры приходится платить значительной вычислительной сложностью и расходом памяти, ибо сие многоголовое чудище ненасытно в отношении памяти, особенно для длинных последовательностей, что ограничивает применимость моделей на практике. Да и даже при наличии серьезных вычислительных ресурсов  обучение моделей на серьезных задачах - дело отнюдь не быстрое. 

В недалеком прошлом вышла целая плеяда работ посвященных удешевлению дорогой операции внимания посредством построения различных приближений, сводящих квадратичную по длине последовательности вычислительную сложность и расход памяти к субквадратичной за счет приближения матрицами более низкого ранга, хэшированием, разреженного внимания, локального внимания, комбинированного и вагон и маленькая тележка других идей. Многие подходы показали себя довольно неплохо, давая небольшую потерю в качестве относительно исходного vanilla attention, но все-таки внимание в его первозданном виде было и остается наиболее распространенным. 

И на днях вышла работа Flash Attention, где был предложен способ существенно ускорить вычисление attention на GPU, причем никак не меняя конечный результат. То есть делается то же самое, что и раньше, но по-другому.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 701
Комментарии 0

Расшаривание USB-устройства по нескольким клиентам через TCP

Блог компании RUVDS.com Программирование *C# *Фототехника Астрономия
Перевод

Будучи увлечённым астрофотографом, я использовал в комплекте оборудования USB Sky Quality Meter (измеритель качества неба), и однажды мне потребовалось организовать к нему общий доступ от нескольких профильных приложений. Однако я не хотел заменять его на Ethernet-версию или докупать такой для каждой установки, поэтому решил просто написать собственную программу.
Читать дальше →
Всего голосов 16: ↑14 и ↓2 +12
Просмотры 2.4K
Комментарии 5

Карьера аналитика 1С: куда расти, если ты успешен в IT

Блог компании Автомакон Анализ и проектирование систем *Управление проектами *Управление персоналом * *
Recovery mode

В связи с развитием решений на базе 1С профессия аналитик 1С стала одной из наиболее востребованных и доходных технических специальностей в России и странах СНГ. По данным из аналитического исследования «Крупнейшие ИТ-разработчики России 2020», «1С» оказалась лидером среди отечественных разработчиков программного обеспечения. Более 1,5 миллиона государственных учреждений и компаний различных отраслей отдают предпочтение программным продуктам фирмы «1С». А в условиях импортозамещения они будут еще более востребованы. В связи с этим спрос на аналитиков 1С будет расти. 

Читать далее
Всего голосов 1: ↑0 и ↓1 -1
Просмотры 539
Комментарии 0

Первый опыт майнинга

Чулан

Недавно я написал про p2p-экосистему, чем вызвал бурную и интересную реакцию в комментариях. Поэтому решил продолжить.

В экосистеме есть возможность покупки-продажи товаров и услуг – при этом все транзакции анонимны. Есть специальные Crypto-карты даже имя аккаунта не будет видно продавцу. Поэтому первое, что пришло в голову при использовании – запустить майнинг, намайнить местных криптонов и что-то на них купить.

Но тут пришлось столкнуться с препятствиями в виде повышенной сложности запуска этого процесса. Пришлось немного поколдовать с виртуальной машиной.

Читать далее
Всего голосов 10: ↑7 и ↓3 +4
Просмотры 2.1K
Комментарии 4

Как создать CDN в отдельно взятой стране

Блог компании OTUS Высокая производительность *Системное администрирование *DNS *Распределённые системы *

Тема задержки доступа и скорости извлечения сетевых ресурсов никогда не перестанет быть актуальной. Максимально близкое расположение источника влияет не только на скорость загрузки и пользовательский опыт, но и на эффективность работы глобальной сети в целом, поскольку позволяет локализовать трафик и сократить загрузку магистральных каналов, предпочитая использовать кэшированные или расположенные локально реплики сетевых ресурсов. Не случайно Google реализует модель сохранения локальных кэшей на оборудовании крупных региональных провайдеров (Google Global Cache) и интеллектуальные алгоритмы в маршрутизации на ближайшую реплики. В этой статье мы обсудим различные подходы к реализации распределенной сети доставки контента (Content Delivery Network, он же CDN), а также акцентируем возможные решения для создания CDN в масштабах отдельно взятой страны или города.

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Просмотры 1K
Комментарии 1

Как благодаря нераскрывшемуся парашюту возникла дополненная реальность

Блог компании М.Видео-Эльдорадо Читальный зал Разработка под AR и VR *История IT AR и VR
Перевод

После нескольких лет устойчивого развития дополненная реальность, наконец-то, находится на пороге большого взлёта. Все больше инструментов и решений делают ее ближе к народу. Команда М.Видео и Эльдорадо активно следит за всеми трендовыми технологиями. Тем интереснее погрузиться в историю AR. Под катом любопытное повествование от одного из пионеров развития этой технологии, Луиса Розенберга.

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 1.6K
Комментарии 2

Бот на .NET. Telegram + Google API

.NET *API *
Из песочницы

Очень долгое время слушал музыку непосредственно в Telegram. Там и пообщаться можно и проигрыватель довольно удобный. Но рано или поздно - каждый сталкивается с проблемой, когда свой плейлист надоедает и хочется чего-то нового. В YouTube Music есть довольно удобная функция, которая позволяет, каждый день довольствоваться новой музыкой. Что я имею ввиду? При включении любой песни, далее проигрывается трек, который похож на предыдущий. Таким образом можно постоянно открывать для себя новые музыкальные горизонты :)

В Телеграмме у меня было сохранено более 1000 песен. Я решил написать бота, который будет считывать пересланную музыку из ТГ, создавать плейлист в YouTube и загружать все песни туда. Таким образом и чему-то новому научусь и песни загружу(ну и если кому-то из знакомых понадобятся услуги моего бота, это может сэкономить им время, хотя я мало верю, что кому-то это пригодится, это больше небольшой, учебный проектик).

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 1K
Комментарии 2

ТОП-3 ИБ-событий недели по версии Jet CSIRT

Блог компании Инфосистемы Джет Информационная безопасность *


Сегодня в подборке новостей от Jet CSIRT — три уязвимости: в Microsoft Office, чипсетах UNISOC и Windows Search. Новости собирал Андрей Маслов, аналитик центра мониторинга и реагирования на инциденты ИБ Jet CSIRT компании «Инфосистемы Джет».

Подробнее — под катом.
Читать дальше →
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 247
Комментарии 0