23-25 сентября 2022 года проект "Цифровой прорыв. Сезон: Искусственный интеллект" проводил в Москве кейс от ВК "Машинное обучение на графах" на прогнозирование склонности к благотворителей у пользователей ВК.
Всем, кто боится ходить на хакатоны, посвящается. Мой первый хакатон: опыт, впечатления и выводы, к которым я пришла.
На высоте 100 км над уровнем моря расположена линия Кармана – условная нижняя граница космического пространства. На самом деле, линия Кармана пролегает в пределах ионосферы, и выше этой линии также наблюдаются явления, которые можно назвать «погодой». Однако технически пространство над линией Кармана считается космосом потому, что там пролегают орбиты искусственных спутников. Именно эксплуатация спутников, в особенности, спутников связи, в последнее время привлекает все более пристальное внимание к изучению полярных сияний (авроры) как атмосферно-космического погодного явления. Многие аспекты полярных сияний до сих пор не вполне изучены, а в этой статье основное внимание будет уделено геомагнитным и навигационным проблемам, напрямую связанным с авророй. В заголовок статьи вынесена русская поморская поговорка, указывающая, что среди северных мореходов описываемые проблемы издавна были общеизвестны и актуальны. Здесь «пазори» означает «северное сияние», а «матка» - компас.
Я знаю многое о велосипедах в Enterprise-разработке. Видел издали, катался на них, собирал сам, но наступают моменты, когда типичные задачи пора перевести на типичные решения. В статье расскажу о 4 self-hosted сервисах, которые освобождают уйму времени на действительно важные вещи.
В 100% последних проектов мы используем docker и kubernetes, поэтому, повстречавшись с "особым" путем использования базовых docker-образов AstraLinux, мы решили упростить жизнь себе и другим разработчикам.
Кому лень читать дальше, то образы здесь https://hub.docker.com/r/ipodsekin/astralinux.
А кому интересны подробности, добро пожаловать под кат.
Во многих компаниях айтишники считают руководителей жадными: начальство не дает увеличивать бюджет и на любые запросы технарей отвечает: «У нас нет денег, уменьшите свои хотелки». Экономия на айтишке — распространенная история, и большинство руководителей воспринимает ИТ-отдел как черную дыру, которая засасывает деньги и время из компании.
Почему так происходит? Что нужно учесть при формировании ИТ-бюджета и как убедить начальство в выгоде инвестиций в технологии?
Когда мы говорим о service mesh, в первую очередь следует упомянуть о Consul, разработанную HashiCorp
Consul — это один из инструментов с открытым исходным кодом, который широко используется для обнаружения сервисов для нескольких эфемерных или неэфемерных ресурсов.
Но следует упомянуть о многих системах service mesh - Istio, Linkerd, Traefik Mesh, Open Service Mesh (OSM), Nginx Service Mesh (NSM), Kuma.
Consul выполняет не только роль service mesh (далее SM), но также у него есть богатый функционал, который отличает его от других сервисов.
· health checking
· load balancing
· Key-value store
· Web-UI
Сам по себе Consul представляет собой бинарник, который запускается с различными параметрами. Это позволяет оперативно развернуть consul.
Например, рассмотрим часть безопасности консула, которая не включена в настройку или конфигурацию базового консула. Итак, для безопасности мы упомянем ACL.
Consul ACL (Список контроля доступа) — это опция, которая была добавлена в consul версии 1.4.0 в соответствии с официальной документацией. Этот параметр очень важен с точки зрения безопасности, поскольку он обеспечивает несколько уровней безопасности, когда мы настраиваем или получаем доступ к консулу для нескольких упомянутых нами параметров. Давайте обсудим, как работает consul ACL. Он делит свою работу на две части:
1. Consul token
2. Policy
Один из моих читателей прислал мне любопытный вопрос об NSSA (подробнее в будущей статье), который побудил меня копнуть глубже вопрос о том, зачем понадобилось поле OSPF Forwarding Address (FA) в Type-5 и Type-7 LSA.
"Что делать, когда ТОПовые BI-системы стали недоступны и перспективы работы с ними оказались сильно ограничены?". Эта дилемма встает сегодня перед многими компаниями. Меня часто спрашивают, можем ли мы взять и перенести уже наработанные практики на другие платформы, доступные в России на сегодняшний день? К счастью, ответ на этот вопрос положительный, и об одном из вариантов его решения я расскажу сегодня.
Работа инженера технической поддержки интересна тем, что каждый раз когда обращаются с проблемой, ты заранее не можешь определить, сколько времени займёт решение проблемы. Будешь ли ты ночевать дома или на объекте, всё зависит от конкретной ситуации.
Мы в компании давно используем готовые образы систем для быстрого разворачивания рабочего места, но появилась проблема как это сделать удаленно. Попытки объяснить человеку на другом конце страны в каком порядке и что делать - утомили. Проще научить загружаться с флешки, а дальше уже самому поставить разворачиваться образ или наоборот сделать его. Для этого пришлось немного дополнить образ стандартного загрузочного диска Acronis Bootable PE добавив VNC и подключение по VPN до нашего шлюза.
Allsafe — это приложение, намеренно спроектированное небезопасным. Для чего это нужно? Оно предназначено для обучения и поиска различных уязвимостей. В отличие от других подобных приложений для Android, оно использует современные библиотеки и технологии. Меньше похоже на CTF и больше похоже на реальное приложение. В этом посте мы разберем его уязвимости с точки зрения двух подходов: статического и динамического тестирования безопасности.
Источник: Shutterstock.com
Я прошел путь от сервисного инженера, инженера-проектировщика до руководителя группы проектирования сетей передачи данных. Сейчас занимаюсь работой со стажерами-инженерами, а еще обучаю наших сетевых специалистов автоматизации, о чем уже рассказывал на Хабре. Здесь хочу поделиться своим взглядом на то, как инженеры разных уровней могут ускорить профессиональное развитие, и сделать это в первую очередь благодаря верному выбору проектов.
Всем привет! Сегодня я расскажу о том, как мы переехали на наш велосипед в виде JupyterHub, и он оказался удобным. У нас в компании работают ~20 дата саентистов и в своей работе они используют множество Open Source-инструментов: Airflow, Hadoop, Hive, Spark и т.д. Но в данной статье речь пойдет исключительно о JupyterHub, точнее говоря о боли, которая преследовала администраторов, и как мы успешно ее побороли.
В статье рассмотрим, как машинное обучение помогает обрабатывать большие объемы данных и извлекать ключевую информацию, скрытую в них. И, разумеется, приведем примеры совместного использования Big Data и Machine Learning (ML), а также расскажем об интересных проектах для тех, кто хотел бы начать работать с большими данными и ML.
Пост навеян обзором VPS серверов, но чего-то не хватило. Хочется больше какой-то конкретики. А уж так как я занимаюсь 1С, решил протестировать одинаковый стек 1С у разных провайдеров.
Провайдеры выбирались с ценой не более 500 рублей в месяц, либо с поденной оплатой. Параметры (тарифы) выбирались примерно одинаковые:
1 ядро (или 2), 2 ГБ ОЗУ, 10 ГБ SSD(NVME)
На рынке 1С так сложилось, что главной системой тестирования оборудования является Тест Гилева, есть конечно какие-то 1совские решения, но они очень громоздкие и необходимы в основном для высоконагруженных систем. Мы же будем тестировать бюджетный сегмент и попробуем отделить мух от котлет.
На корректности теста останавливаться не будем, а просто будем использовать данный инструмент, так как он является флагманским на рынке.
В середине 2015 года, в MySQL 5.7.8 появился тип данных JSON. С тех пор он применяется, чтобы избегать жёстких определений столбцов и сохранять документы JSON всех форм и размеров: логи аудита, параметры конфигурации, сторонние полезные нагрузки, пользовательские поля и др. Подробности — к старту нашего курса по анализу данных.
Пару недель назад рассказывал о своей безумной идее с тепловизорами, решил продолжить цикл :)
Дело было в нулевых, ближе к концу, уже точно не помню. Ну люблю я всякие новинки, а тут как раз появилась информация о разработке в США так называемой звуковой пушки. Как раз было время когда сомалийские пираты были на слуху и эту штуку планировали использовать для борьбы с ними. LRAD - Long Range Acoustic Device.
Принцип действия этого устройства в том, что оно преобразовывала звук, слышимый человеческим ухом в ультразвук. Точнее, не так, она звук кодирует с помощью ультразвука, а при попадании пучка в твердый предмет тот становился динамиком. Например, пират, попавший в фокус такого луча, слышит оглушающий его шум на уровне болевого и желает куда-нибудь свалить.
Но наученный предыдущим опытом, я понимал, что такую штуку мне точно не продадут.
Но сама идея мне очень понравилась. И тут фирма, которая делала эту пушку, предложила устройство для гражданского рынка - HSS Hyper Sonic System. Принцип тот же самый - преобразуем звук в ультразвук, потом распаковываем. Для чего - да для рекламы. Можно точечно размещать рекламу прямо в магазине, направляя луч прямо на товар, где она и будет звучать, а какофонии, как при использовании нескольких динамиков, не будет.
Или в тех же музеях можно прямо на картину навести звук и он будет слышан только там.
Да много всяких идей, как использовать было.
В общем, загорелся и купил. Как - это история почти детективная, хочу сказать, что в процессе мне предлагали и большую пушку, но жаба задавила тратится :)
Распутываясь из циклов Ansible
Написать данный опус навеяла статья на Хабре Распутывая Ansible Loops. Вообще с циклами у ansible на мой взгляд не задалось. Никаких тебе конструкций вида for и while. Официальная документация довольно-таки развернутая, но немного в ней не хватает элементарных примеров. Их и постараюсь привести.
Всем привет, хабровчане и гости сайта
Сегодня решил рассказать о своем опыте, как я при помощи docker-compose и bash скрипта настроил развертывание бекенд приложения с базой данных.
Какая была идея? Хотелось при помощи одной команды в терминале разворачивать Java приложение с базой данных так, чтобы можно было передать все необходимые переменные в момент запуска и нигде не хранить их.
Так, чтобы можно было развернуть новую версию приложения даже с телефона, просто заранее заготовив необходимую команду.
Как получилось в итоге:
в корне проекта лежит баш скрипт, который принимает переменные окружения, которые нужны для запуска бекенда и базы данных. Там внутри никаких захардкодженных данных нет, что позволяет нам запускать где угодно и с какими угодно настройками.
Путь к этому был сложен и тернист для меня. С большой вероятностью можно было сделать легче и проще, если б я занимался этим каждый день, но сделал как умел и как предполагал возможным. Поэтому все, кто имеет что сказать поэтому поводу, приглашаются в комментарии.