Microsoft Azure *

В этой статье поговорим о том, как сделать простой процесс загрузки данных с помощью Microsoft Azure Data Factory и Databricks в 2023/2024 году. Во второй части разберем миграцию init scripts из DBFS в Workspace в связи с новым обновлением от Databricks, если ее не сделать, то не удивляйтесь, что в конце 2023 года у вас начнут падать ADF pipelines и кластера в Databricks. 1 декабря 2023 г. Databricks отключит сценарии инициализации (init scripts) с именем кластера для всех рабочих областей. Этот тип сценария инициализации ранее считался устаревшим и не будет больше использоваться.

В этой статье я рассмотрю, как в .NET приложении можно эффективно использовать Application Insights и Serilog, а также как можно воспользоваться специфичным функционалом Azure для логгирования. Вместе эти два прекрасных инструмента дают очень богатые и гибкие возможности по логгированию для любого приложения. В статье будут показаны разнообразные варианты настройки этих инструментов и приведены примеры кода для разных сценариев логгирования.

Application Insights - это мощный инструмент для сбора и анализа метрик и логов приложений, как размещенных в облаке, там и исполняемых локально.

Serilog реализует "структурное логгирование", которое сохраняет сообщения и данные в формате, удобном для поиска и анализа, используя так называемые "sinks" для записи логов в различные хранилища. С помощью Serilog можно одновременно сохранять логи в Application Insights, локальные файлы и любые другие хранилища. Эти sinks можно очень тонко настраивать, а также включать и выключать в ходе работы приложения.

О чем и для кого статья

В какой-то момент в нашей компании возникла необходимость уметь быстро разворачивать множество тестовых сред в Azure. Данная статья расскажет об архитектуре данного решения и о его ключевых деталях.

Я подразумеваю, что читатель статьи уже владеет основами Terraform.

Предполсылки и требования

Для начала хотелось бы рассказать о нашей компании. Мы финтех стартап, занимающийся факторингом. Мы с самого начала развивались как cloud native. Все наши вычислительные мощности и сервера находятся в Azure.  

На момент событий, описываемых в статье, большинство наших ресурсов составляли Azure App Service, Azure Sql Servers и Azure Blob storages. У нас было два крупных монолита и около 10 микросервисов вокруг. Честно говоря, это было больше похоже на распределённый монолит, потому что тестировать приходилось всю экосистему, а не отдельные сервисы.

В определенный момент мы начали очень быстро расти с, примерно, 20 человек в Tech отделе до 120 за год. В это время основной нашей болью было количество тестовых сред. У нас были три среды: test, staging и prod. Команды толкались в этих средах, test был постоянно разломан, протестировать что-либо было невозможно. От этого staging тоже забивался неработающим функционалом и выпуски затягивались на недели. 

Быстрым решением на тот момент было увеличение числа контуров. Мы хотели дать по тестовому контуру на команду. То есть попросту продублировать все сервисы столько раз сколько есть команд. Понятно, что это не идеальное решение, и в идеале для работы над одним микросервисом команде не нужны все остальные сервисы и инфраструктура вокруг них. Но наличие крупных сервисов, над которыми работали несколько команд, и сильная связность между микросервисами не позволяли нам так сделать. Поэтому мы стали искать решение по автоматизации создания нашей облачной инфраструктуры. Нужна была возможность быстро создавать и уничтожать тестовые контура.

Привет Хабр сегодня мы поработаем с Azure Monitor Activity Logs в три простых шага: логгинг, мониторинг и алертинг.

В этой статье поговорим про балансировку нагрузки в Microsoft Azure.

Давайте поговорим о том, как настроить автомасштабирование для существующего кластера Azure HDInsight с помощью Azure CLI.

Microsoft Azure — это служба облачных вычислений, предлагаемая и управляемая Microsoft. 

Azure HDInsight — это управляемая комплексная облачная служба аналитики с открытым кодом, предназначенная для предприятий. С помощью HDInsight в среде Azure можно использовать платформы с открытым кодом, такие как Apache Spark, Apache Hive, LLAP, Apache Kafka, Hadoop и другие.

Hadoop и Spark появились еще до Azure HDInsight. Такие механизмы, как Spark или Hadoop, можно использовать для масштабного анализа данных с высокой производительностью. Вообще говоря, Spark имеет лучшую производительность, потому что он хранит и обрабатывает данные в памяти. Hadoop, с другой стороны, хранит данные на жестких дисках.

Всем привет! В данной статье я расскажу о том, как наша компания смогла сэкономить за счет внедрения Azure SQL Elastic Pool. Дополнительно будут примеры Azure REST API для энумерации SQL Servers, для энумерации SQL databases и для получения метрик.

Самые пытливые в конце статьи узнают сэкономленную величину. Здесь исходники

Всем привет! Я расскажу о том как можно написать простой поиск коммитов в Azure DevOps. Те кто не любит много букв, могут сразу перейти к коду. Зачем же понадобился свой "велосипед" в дополнение к стандартному поиску?

Всем привет! В данной статье я расскажу о том как забавы ради сделал простенькую визуализацию спринтов из джиры. Кто не любит читать много букв может сразу посмотреть на результат или же на исходники.

Для тех кто хочет погрузиться в проектирование .Net микросервисов, Kubernetes, Azure и Azure DevOps процессы. 

Всем привет! Я расскажу о том как в течении 10 минут создать личный VPN сервер в нужном регионе.

Очевидно, что для настройки потребуется доступ к Azure. Я сделал такой доступ через Azure Benefit (google 'how to activate azure benefit for msdn subscribers'). В марте-апреле этого года данная штука активировалась для жителей нашей страны, а вот в этом месяце с этим как мне сказали уже есть проблемы. В таком случае - обращайтесь к друзьям с доступом к Azure.

В статье будет максимально простая инструкция с большим количеством картинок.

Вот мы и вернулись! С "небольшим" опозданием, но нам есть чем оправдаться ;) В прошлом году мы строили и запускали самодельные стратостаты с целью привезти видео в 4k с высоты 30+ километров. В этом году мы, наконец-то, достигли всех поставленных целей и привезли бескомпромисный результат. Получилось опять "длинно", но я сокращал как мог. Будет много фоток, пару видео и даже гифки.

Всем привет!

В данной статье я расскажу, как построить отчет Power BI на данных SAP Hana. Внятной информации на этот счет в интернете я не нашел, поэтому пришла идея поделиться информацией. Так вышло, что в нашу команду прилетел новый проект – нужно было построить аналитику на данных SAP EWM, используя Power BI, как средство визуализации.

Когда-то, работая SAP BW консультантом еще в далеком 2019, я начал использовать Power BI для своих личных целей, как хобби. Произошло это случайно. Я хотел проанализировать вакансии с сайта подбора персонала, что и сделал. На это у меня есть отдельная статья. Дальше больше, в итоге скопился приличный опыт. Таким образом я стал одним из разработчиков на вышеуказанном проекте😊.    

Что на входе? Система SAP EWM (логистика, поставки) и куча графиков в Excel от заказчика. Причем некоторые графики должны обновляться не менее раза в час – то есть почти в реальном времени, рис. 1.  

1. Microsoft Dataverse для создания структуры таблиц баз данных.
2. Модели искусственного интеллекта Microsoft AI Builder.
3. Механизм Dataflows для создания потоков обновления данных из различных источников.
4. Пользовательские соединители.
5. Шлюзы для интеграции с on-premises окружением.
6. Коннекторы для интеграции с сервисами Azure (Azure Data Lake, Azure Tables, Azure Logic Apps, Azure SQL,...)
7. Автоматическая миграция данных в Azure Synapse.
8. Множество других полезных возможностей.

Привет, сообщество!

Проработав в одной компании три года, пришло время сменить работодателя. И тут я понял, что я не знаю рыночную цену своим компетенциям. Во время работы на одном месте перестаешь ходить на собеседования, общаться по-душам с рекрутерами, а рост внутри одной компании как правило небольшой, как по скилам, так и по зарплате.

В то же время, как хобби, я юзал аналитический инструмент Power BI - красивые графики, диаграммы и тд. А главный сервис с вакансиями в РФ, ну вы знаете. Поразмыслив, я почувствовал, что добавив одно к другому может получится интересная история.

Итак, мне нужны данные по рынку. Если воспользоваться поиском на сайте HHru, в выдаче можно увидеть кучу вакансий, но когда их сотни, для человека анализ не представляется возможным. Нахожу в документации по API HHru, что данные по вакансиям бесплатны и открыты. То есть можно получить те же результаты, что и поиском, только в формате json, что в конечном счете съедобно для Power BI. Поехали.

Служба Power Automate, ранее известная как Microsoft Flow, позволяет пользователям автоматизировать рабочие процессы между различными приложениями и сервисами. С помощью Power Automate вы можете создавать процессы («потоки») в Microsoft 365 для Outlook, SharePoint и OneDrive, чтобы автоматически открывать доступ к файлам или отправлять их, пересылать электронные письма и выполнять ряд других действий.

В то же время, используя этот мощный инструмент автоматизации повседневных процессов, злоумышленники могут автоматически осуществлять эксфильтрацию данных, взаимодействовать с серверами C2, перемещаться внутри сети и уклоняться от обнаружения средствами безопасности.

Привет, Хабр! 

Думаю, для вас не секрет, что в последние годы контейнеризация вышла в лидеры на DevOps благодаря своим возможностям, включая эффективное использование ресурсов и гибкость. Так что Microsoft и Docker потратили немало времени на создание удобной среды, в которой можно было бы провести запуск приложений .NET внутри контейнеров. 

Наша команда в разработке использует Kubernetes кластеры, в которых разворачиваются контейнеры на базе Linux систем с различными .Net приложениями и сервисами. Так что в какой-то момент мы встали перед вопросом, как проводить мониторинг не только контейнеров, но и дампов.

За помощью мы обратились к всемогущему интернету, и после нескольких часов изучения данного вопроса, наш выбор пал  на использование “sidecar” контейнеров.

Пандемия COVID-19 ударила по экономике Шри-Ланки. В чайной отрасли существовал особенно уязвимый элемент. В течение 137 лет «живые» аукционы были опорной точкой всей отрасли, в которой восемь брокеров островного государства продавали чай экспортерам и чайным брендам, а те, в свою очередь, готовили конечный продукт и поставляли его на полки супермаркетов в более чем 100 странах.

Начало пандемии грозило полным прекращением аукционов, так как правительства повсеместно ограничивали передвижение и вводили социальную изоляцию. Поэтому Чайный совет Шри-Ланки и Ассоциация экспортеров чая Коломбо обратились к местному партнеру Microsoft, компании CICRA Solutions, чтобы создать альтернативу.

Обзор возможностей по управлению фрагментацией блобов в Azure Storage Account и ее влияние на скорости доступа к ним.