Всем привет! Меня зовут Андрей Нестеров, я занимаюсь компьютерным зрением в применении к мобильным приложениям (ML на конечных устройствах) в компании Friflex и работаю продуктами по оцифровке спорта. Я стал замечать, что в обычной жизни не хватает технологий компьютерного зрения. Например, мне бы хотелось замерять, сколько времени я провожу за компьютером или трачу на сон. Но отслеживать эти действия можно и самостоятельно. С тех пор я начал думать о том, что действительно будет полезным, какую проблему можно было бы успешно решить с помощью технологий. Такая проблема вскоре нашлась.
Новости
Обзор книги «Изучаем Python», отличная книга для начинающих и не только
Всем доброго времени суток!
Публикую обзор книги "Изучаем Python" от автора Марка Лутца.
Стоит читать? Да! Почему? Опишу в статье.
Python - хороший первый язык программирования, а это хорошая первая книга для его изучения.
Кто целевая аудитория книги?
Подойдет для тех, кто только начал изучение Python с нуля. Материал в книге изложен доступно и понятно, поэтому трудностей возникнуть не должно. Автор очень подробно рассматривает общие концепции, что дает нам полное понимание структуры языка.
Защита от DDoS и web-атак: нюансы подключения из облака
Привет, Хабр! Сегодня отличный день для того, чтобы поговорить о защите от DDoS и обеспечении безопасности веб-приложений в облачных средах. В этом посте мы подробнее разберем, чем подключение внешних провайдеров для облака отличается от подключения on-prem оборудования и почему даже те, у кого есть уже установленные устройства (физические и виртуальные) начинают использовать гибридную схему защиты. Я постараюсь рассказать, что именно облако может предложить вкусного и полезного, если вам нужна такая защита. Под катом — небольшой анализ ситуации, а также схемы включения защиты в виде облачных сервисов.
Tree-sitter: обзор инкрементального парсера
Некоторые IDE и текстовые редакторы парсят исходный файл целиком при каждом изменении, что тормозит, а некоторые делают это построчно с помощью регулярных выражений, что тоже тормозит и не даёт качественной подсветки кода, т.к. теряется контекст. Для решения этих проблем был создан tree-sitter - инкрементальный парсер, который используют всё больше и больше проектов. Давайте разбираться зачем и почему.
Создание онлайн сервера для мобильных многопользовательских, realtime 2D игр (жанра RPG и стратегии) с API на PHP ч. 3
В 3й части статей я расскажу простым языком про протоколы передачи данных, как они работаю и что такое Websocket сервер и какие есть решения для его создания на PHP
Создание пользовательского меню, панели инструментов и ленты в Платформе nanoCAD
В статье рассматриваются варианты кастомизации пользовательского интерфейса nanoCAD, представленные в виде шагов по созданию пользовательского меню, панели инструментов и ленты. Включено описание процедур добавления иконок для светлой и темной схемы, а также использования ресурсной DLL-библиотеки с иконками. Кроме того, можно ознакомиться с порядком действий по отключению частичных конфигурационных файлов.
Топ 5 самых громких событий инфосека за май 2022
Всем привет! Время для нашего традиционного дайджеста самых громких событий информационной безопасности за последний месяц весны. В программе массовые утечки данных крупных компаний в России, крах криптовалюты Luna, злоключения Коста-Рики после атак Conti по следам их распада и многое другое. Добро пожаловать под кат и приятного чтения!
Генерация меток для обучения модели при помощи слабого контроля
Компаниям сложно следить за всеми новостями и мнениями о них в социальных сетях; существует огромное множество потенциально релевантных постов, и их фильтрация заняла бы много времени. Новый продукт Borealis AI был создан для решения этой проблемы путём извлечения в реальном времени информации социальных сетей, распознавания тематики и добавления метки для каждого поста с обозначением его типа. Например, пост может быть помечен как «пресс-релиз», «обзор пользователя» или «шум». Такие метки позволяют пользователям находить более чистые подмножества постов в соцсетях, которые им интересны.
Чтобы создать модель машинного обучения для классификации постов по таким категориям, необходимо получить высококачественные размеченные данные обучения. Иными словами, нам нужны примеры постов в социальных сетях, которые вручную размечены как пресс-релизы или обзоры пользователей, чтобы модель могла учиться тому, как распознавать новые примеры того же типа.
Что может система анализа трафика в руках охотника за киберугрозами
Кибератакам подвержена компания из любой сферы экономики. Попытки злоумышленников закрепиться внутри инфраструктуры оставляют следы — сетевые артефакты. Обнаружить их и снизить вероятность атаки позволяют системы анализа трафика (NTA-решения). Главное — правильно их использовать.
В этом посте мы пошагово покажем:
· как искать Tor-трафик, аномалии в LDAP и следы сканирований;
· выявлять нестандартное шифрование;
· обнаруживать SSH-туннели;
· определять туннели SOCKS5 и HTTP, вложенные протоколы, использование Meterpreter и удаленное выполнение команд (через WMI, удаленное создание сервисов или задач);
· анализировать протоколы и многое другое.
Кто круче rsync? Интересные алгоритмы для синхронизации данных
Тридж, автор rsync
Что может быть приятнее, чем минимизировать объём бэкапа или апдейта? Это не просто экономия ресурсов, а чистая победа интеллекта над энтропией Вселенной. Исключительно силой разума мы уменьшаем размер файла, сохраняя прежний объём информации в нём, тем самым уменьшая поток фотонов в оптоволокне и снижая температуру CPU. Реальное изменение физического мира силой мысли.
Если без шуток, то все знают rsync — инструмент для быстрой синхронизации файлов и каталогов с минимальным трафиком, который пришёл на замену
rcp
и scp
. В нём используется алгоритм со скользящим хешем, разработанный австралийским учёным, программистом и хакером Эндрю Триджеллом по кличке Тридж (на фото).Алгоритм эффективный, но не оптимальный.
Кто за всех решил, что python удобен для «гражданской» аналитики?
«Гарри Поттер и философский камень», (2001)
ИТ-шником (программистом) нынче быть привлекательно. Дата саентистом тоже неплохо. Создаются и множатся курсы. Только вот они все однобокие. Несмотря на большое количество языков, большое количество технологий и алгоритмов, несмотря на весь накопленный в ИТ области багаж, 99% датасаенс курсов строятся по пути python-pandas.
Наблюдая за типовыми мучениями в решении тривиальных задач выпускников таких курсов, даже неважно какого они года выпуска, со всей очевидностью становятся видны архитектурные просчеты питона в области аналитики. На фоне жутких питон конструкций аналогичные решения, написанные на R, выглядят стройными, прозрачными, компактными и работают сильно быстрее.
Вся аргументация «за питон» строится исключительно по принципу «не думать», «рука рынка, «ну у нас же уже есть в проде 10 строк кода на питоне, что же делать?». Хотя элементарные технологические тесты и оценка экономической эффективности частенько дают неопровержимые доказательства, что DS питон является безответным поглотителем доли ИТ бюджета компаний. Взглянем ниже более пристально на отдельные моменты.
Дискуссии в Brave Search: ответы от живых людей, а не SEO-спамеров
Когда люди ищут что-то в интернете, они хотят получить полезные, релевантные результаты, а не мусор, спам и белый шум. К несчастью, специалисты превратили «оптимизацию» по поиску, SEO, в настоящую науку и большой бизнес. Результат? Страницы выдачи поиска от гугла и его друзей забиты рекламой и автоматизированным контентом (SEO-спамом) от рекламщиков, которые пытаются обмануть поиск и поднять рейтинг своих сайтов в поисковой выдаче.
Это нас не устраивает. Для борьбы с подобными махинациями мы запускаем новый мощный инструмент поиска Brave, под названием Дискуссии.
Создай себе инструмент. Часть 1: скрипт на Dart
Можно легко упустить момент, когда работа с кодом становится рутинной. Логичный шаг — автоматизировать её. Стартуем серию статей о тулинге: расскажу, как начать и куда смотреть дальше.
WWDC 2022. Что нового в SwiftUI
Всем привет, с вами я, Анна Жаркова, ведущий разработчик компании Usetech.
Неделя тематических сессий в самом разгаре. Сегодня поговорим о SwiftUI, какие же новинки были уже представлены и озвучены.
В этой версии ставку сделали как на поддержку новых возможностей iOS, так и на улучшение и доработку уже существовавших. Основными направления развития SwiftUI стали:
1. Поддержка нового фреймворка для графиков Charts.
2.Навигация (своя, родная, нативная).
3.Сложные контролы.
4.Поддержка шаринга.
5.Графика и разметка.
Предлагаю рассмотреть их детальнее.
Charts
Начнем по порядку с API для графиков.
Управляем правами доступа в облаке на примере Amazon Web Services
В этой статье руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис» Сергей Полунин рассмотрит два способа управления учётными записями и их правами в облачной среде на примере Amazon Web Services.
Identity and Access Management
Одним из сервисов, отвечающих за безопасность AWS является служба Identity and Access Management (IAM). Именно она обеспечивает триаду – идентификация, аутентификация, авторизация. Обычно при первом знакомстве с IAM рассказывают об обязательном включении многофакторной аутентификации и запрете пользоваться рутом.
Также обязательно упоминают про парольную политику, почти такую же, как в прочих системах, которыми вы уже управляете. Заодно намекают, что с логином и паролем можно зайти только в административный интерфейс, а вот управлять «начинкой» придётся с помощью специально созданных ключей. Все это вопросов не вызывает, примерно этого мы и ожидали, но есть нюансы.
IAM Policy
Управление доступом осуществляется при помощи политик IAM Policy, а правила пишутся в формате JSON и в этот момент начинают закрадываться некоторые сомнения, что легко не будет, потому что придется писать код самостоятельно, а не просто нажимать на кнопки.
Например,
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "FullAccess",
"Effect": "Allow",
"Action": ["s3:*"],
"Resource": ["*"]
}
]
}
Это политика, например, даёт доступ ко всем S3 хранилищам, но запрещает работать с объектами в S3 хранилище my-secure-bucket.
Как без боли сделать мультиплеер на Godot, который будет работать в браузере
Представьте, что вы пишете свою десктопную мультиплеерную игру мечты, а потом вам захотелось, чтобы ваш проект также работал и в вебе. К сожалению, в интернете можно найти кучу гайдов по созданию только десктопного мультиплеера на Godot, но не браузерного мультиплеера, даже официальная документация самого движка никак не поможет и не предоставит простых примеров. У вас быстро опустятся руки и вы забьёте на эту затею, потому что ваш проект так и не заработает в браузере.
К счастью, эта проблема легко решается!
Вам может сказочно повезти, если поисковик выдаст этот пост на Reddit. Мне вот повезло, поэтому спешу рассказать и другим. Моя статья будет не столько переводом этого поста (и материалов, на которые она ссылается) на русский язык, сколько пересказом от моего лица с имеющимся опытом разработки + дополнительно поведаю о некоторых вещах, что не были упомянуты в посте.
Введение в суррогатные модели. Часть 3: Выходим в топ
Продолжаем серию постов об одном очень полезном методе из мира машинного обучения, цель которого – существенно ускорить инженерное проектирование. Мы с вами уже научились обучать легкие модели на замену мощным и детальным инженерным пакетам для симуляции сложных систем. Теперь научимся делать так, чтобы новые суррогатные модели точно отражали изучаемое явление в нужных пределах, но при этом требовали как можно меньше данных и быстро обучались. Тема супер интересная, поэтому мы сделали перевод отличной статьи авторства Шуая Гуо, и на ее основе делимся своим опытом и кодом на MATLAB, чтобы вы могли все попробовать сами.
Покоряем высоты для велонавигатора 2ГИС
Привет, я Артём, ML-инженер. 26 мая 2ГИС зарелизил навигатор для велосипедов и самокатов, одна из его фич — график высот для построенного маршрута. Эта статья о том, как мы получаем этот график.
Boop! Необычные эффекты по ховеру или введение в Spring
Анимация при наведении – прекрасный способ сделать приложение динамичным и отзывчивым. Это мелочь, но именно такие детали в итоге могут сделать продукт классным.
По результатам неофициального опроса в Twitter poll было решено назвать этот эффект «boop». В этом уроке для intermediate-пользователей React мы разберём, как его реализовать.
Java. Решение практических задач
Книга Анджела Леонарда позиционируется как каталог типовых решений для Java разработчиков младшего и среднего уровней. Заявляется, что представленные решения производительны, корректны и поддерживаемы.
В книге все разбито на "задачи". Они тут нескольких типов: