Визуализация данных *

Привет, Хабр! В этом посте мы поговорим о том, как происходит подключение к внешней СУБД для BI-платформы Visiology, а также разберем ситуации, когда это действительно нужно. Под катом — подробный разбор возможностей SQL backend, которым может воспользоваться сегодня фактически каждый пользователь Visiology. Кроме этого мы остановимся на нюансах подключения различных СУБД, а также обсудим, в каких ситуациях можно “сесть на два стула” и получить как скорость расчетов, так и поддержку бигдаты для очень больших объемов данных.

Обработка данных и применение основных видов регрессий для решения задач на Kaggle, на примере соревнования "Предсказание оттока пользователей" от DeepLearningSchool МФТИ.

Головная боль администратора BI сервера пропорциональна масштабу развернутого решения. Начнем с главных ориентиров, следуя которым мы привыкли достигать баланса в работе BI сервера (и улучшать качество ночного сна админа). А дальше разберемся, какой функционал помогает решать эти и другие задачи в Дельта BI — на фоне привычного для Vizuators Tableau Server (TS).

Привет, Хабр!

Меня зовут Екатерина Кононова, я Data Scientist и участник профессионального сообщества NTA.  Часто возникает проблема визуализации данных за несколько периодов времени. Те, кто уже пытался создавать карты знают, что эту проблему можно решить с помощью разных слоёв на карте. Если заглянуть в код, то можно увидеть, что именно строка folium.LayerControl(). add_to(m) позволяет добавить на карту возможность переключения между слоями, но об этом чуть позже.

Привет, Хабр! Меня зовут Салават Сафиуллин, и сегодня я хочу поделиться с вами своим первым опытом создания дашборда на Visiology 3. Это новая версия платформы, которой мы пользуемся уже несколько лет, но она кардинально отличается как архитектурой, так и принципами работы. Дашборды на версии нужно создавать заново и по-другому. Поэтому мне было особенно интересно сделать пробу и подготовить дашборд на базе демонстрационной Visiology 3.0. Под катом — подробный рассказ о моем "пилоте" и некоторые мысли о работе с новой версией Visiology.

3D-сканирование зубов – это прогрессивный и очень четкий способ диагностики, который разрешает дантисту увидеть челюсти и зубы больного под разными углами. При этом сканирование зубов проводится особым устройством — внутриротовым (интраоральным) 3D-сканером..

По мере развития мировых технологий развивается и стоматологическая технология. Уже практически повсеместно вводятся новые возможности диагностики и формирования "слепков зубов", которые значительно сокращает время, необходимое для протезирования и всесте с ним и качество протезирования. Я имею ввиду интраоральные сканеры или, их еще называют, 3D-сканеры.

В этой небольшой обзорной статье я хочу поделиться с вами своим проектом, посвящённый дизайну биосенсоров при помощи ИИ. У меня практически нулевой опыт в работе с данными, да и работа в этой сфере для меня в новинку. В ходе своей работы я смог разобраться в основах проектирования баз данных, чем и хочу поделиться.

Данный материал будет помощником, кратким справочником для тех, кто, как и я – ничего не смыслит в данных, их сборе, анализе и работе с ними; не знает с чего необходимо начинать, но хочет приобщиться к тематике.

С развитием Data-driven подхода к принятию управленческих решений в современных организациях, возросла роль BI-инструментов как основного инструмента внедрения такого подхода. На сегодняшний день выбор BI-продуктов на рынке сводится к трем большим категориям:

- Лидеры (Power BI, Tableau, Qlik).
- Отечественные BI (Модус, Luxms, Yandex Lens, Visiology).
- Open-sourse (Apache Superset, Metabase, Plotly Dash).

Использование BI с открытым исходным кодом имеет ряд преимуществ и в условиях ухода западных игроков с российского рынка, такой выбор дает пользователю свободу и независимость от конкретного вендора.

«Мы сделаем вас счастливыми! Вы будете счастливыми!»
«Отроки во Вселенной» (1974)

Менеджеры в большинстве компаний хотят примерно одного и того же. Чтобы сложные вещи объяснялись простым языком, а все можно было свести к спидометрам, градусникам и светофорам.

Аллегория вполне понятная, пытаться объяснять что-либо — в 99% случаев процедура бессмысленная и энергозатратная. Поэтому ниже пример, как двумя экранами кода можно быстренько превратить временные ряды, которые почти всегда встречаются в больших количествах, в светофор.

Все предыдущие публикации.

Для устойчивого развития бизнеса важно иметь актуальную информацию об операционных метриках и их динамике и иметь инструменты для агрегирования необходимых сведений из существующих источников данных (баз данных, аналитических систем, систем финансового учета и обратной связи от пользователей). Наряду с коммерческими системами анализа бизнес-показателей (PowerBI, Tableau, Datalens) для аналитиков доступны несколько open sourсe решений, которые ориентированы на извлечение и преобразование данных из различных источников (Extract-Transform-Load или ETL) и визуализацию данных в виде гистограмм, диаграмм, таблиц, графиков и в других представлениях. В этой статье мы рассмотрим пример использования Open Source решения Metabase и Singer для получения данных из внешнего источника.

Привет, друзья! После нового года на нас обрушилась очередная лавина запросов о возможности миграции на Visiology 3 c Microsoft PowerBI. Конечно, это связано с тем что уже закупленные лицензии на PBI подходят к концу, а приобретение новых не стало со временем проще. Поэтому сегодня я хочу наглядно показать, как будет происходить перенос несложного дашборда из Power BI в Visiology 3.0.

Современный мир требует активной интеграции информационных технологий в повседневную жизнь. Жители города Москвы уже не помнят, как стоять в очереди в регистратуру больницы и забыли внешний вид своей медицинской карты. Чтобы попасть ко врачу, пациенту необходимо только записаться на примем через компьютер или личный девайс. Врач больше не записывает жалобы пациента на бумаге, все данные сохраняются в базе данных пациентов и уже никогда не потеряются. За всеми этими удобствами стоит Единая медицинская информационно-аналитическая система (ЕМИАС), одним из основных разработчиков которой является наша компания Solit Clouds.

За каждым успешным решением стоит аналитика. Для таких целей, на базе ЕМИАС, созданы аналитические подсистемы, которые формируют данные в виде отчетов. В дальнейшем данные, предоставленные аналитической подсистемой (в дальнейшем АП), используются медицинскими организациями города Москвы для комплексного анализа и дальнейшего принятия решений. Большинство АП сформированы на базе продуктов платформы iDVP, куда входят: iDVP Analytics – универсальный инструмент для создания интерактивных отчётов и анализа данных, покрывает все требования, необходимые для отображения данных из различных источников и манипуляция ими. Речь идет о фильтрах, графиках, диаграммах, детализациях, выгрузке данных в Excel, PDF, CSV и многое другое.

За время работы над аналитическими отчетами по рынку отечественных BI-систем, о которых я уже рассказывал, мы поняли, что есть потребность в обзоре еще одного компонента – а вернее, даже двух связанных с BI. Речь про ETL и коннекторы. Им и посвящено наше новое исследование ETL-круг Громова.

Зачем?

Сейчас есть насущная необходимость в агрегированной информации о российских решениях. Да, в какой-то степени этот вопрос может закрыть всем известный реестр отечественного софта. Но, во-первых, там есть далеко не все решения. А во-вторых, информация о ПО там далеко не полная. Ведь кроме технических параметров нужно разобраться со многими другими, причем желательно в сравнении – реестр этого не позволяет сделать.

Вторая причина запуска исследования в том, что не все BI-платформы имеют собственные встроенные ETL, а значит, выбор ETL тесно связан с выбором BI-платформы. И раз уж последние мы регулярно изучаем, то и первым необходимо уделить определенное внимание.

Ну и третье: рынок российских ETL и коннекторов хоть, на наш взгляд, пока недостаточно развит, но он уже сформировался. Есть ряд сильных и сравнительно известных продуктов, но есть и быстро развивающиеся и весьма перспективные, потенциально способные изменить расклад на рынке. И сейчас, когда многим приходится искать замены для ранее используемых решений, информация о наличии российских предложений весьма актуальна.

Всем добрый день, хабровчане!

В предыдущей статье про QoS я рассказал о том, что такое политика приоритезации трафика и что это крайне полезная вещь при ограниченном емкостном ресурсе в телеком сетях операторов связи. Сегодня я хочу более детально рассказать с примерами, на что влияет корректная настройка QoS.

QoS занятный предмет - вроде он есть и вроде его нет. Обычно в сетях телеком операторов все сводится к шаблонным настройкам на том или ином сегменте сети, и если все настроено по шаблону, то приоритезация настроена - считается так. На самом деле это далеко не так. И как раз в момент созревания сомнений рождается вопрос - а как измерить то чего не видно? На помощь приходят измерительные комплексы и визуализация потока данных. В своем примере я покажу два инструмента - всем привычный Zabbix для визуализации очередей и измерительный комплекс IPProbe (ныне SkyLight) компании Accedian, который с помощью протокола TWAMP может создавать измерительные сессии в той или иной очереди и с высокой точность показывать ключевые показатели транспортной сети, такие как delay, jitter, packet loss, variance delay/jitter в направлении UL/DL по отдельности.

Итак начнем с проблемы. В одном из филиалов одного оператора связи пожаловались мобильщики на "транспорт". У них как только просаживаются KPI по радио, то во всем виноваты транспортники, корщики, но только не они. Жаловались на то, что страдает "голос". Т.е. недозвоны, колл-дропы, неразборчивая речь и прочие прелести жизни. После недолгого анализа и разворачивания систем визуализации, предположения подтвердились - не настроен QoS. При этом нужно сразу уточнить, что проблемы на транспортной сети действительно были в виде потерь пакетов (discards). Эти потери были связаны с не оптимально настроенными размерами буферов для той или иной очереди. Плюс к этому некорректная маркировка могла ремапить высокоприоритетный голосовой трафик CP/UP в более низкую очередь - отсюда и проблемы с соединениями, неразборчивой речью и т.д.

Возникла необходимость изобразить на интерактивной карте актуальное предложение вакансий в сфере Data Science с агрегацией по городам.

Действовать будем в 3 этапа:

1. Парсинг вакансий с hh API
2. Актуализация геолокаций каждой вакансии с точностью до населенного пункта
3. Построение heatmap по количеству вакансий и по средней предлагаемой зарплате с помощью folium

Привет, Хабр! В данной статье будет рассмотрено применение логистической регрессии, причинного случайного леса (Causal Random Forest), метода CUPED для оценки изменения целевой переменной в Python при проведении А/Б тестов. Основное внимание будет уделено практике, теоретические аспекты методов будут упомянуты вскользь.

Условие: есть датасет компании, которая продает на своем сайте билеты на транспорт и которая зарабатывает на наценке. Аналитик проводит АБ-тест: А и Б - разные варианты новой ценовой политики - наценка 4% или 9%.

Вопрос: какую из двух вариантов наценки нужно устанавливать и почему.

Датасет можно скачать здесь. Подробное описание данных лежит здесь. 

Приветствую, уважаемые читатели Хабра. Меня зовут Николай Французов, я digital-аналитик в компании Tele2, занимаюсь сбором и анализом данных, построением дашбордов и проведением А/В-тестов.

Я хотел бы рассказать вам о том, как мы проводим тесты в нашем проекте, и поделиться опытом, возможно, логикой проведения и приведенными процессами вы сможете воспользоваться в ваших проектах, а python-фишечки по расчету fixed horizon и анализу результатов пригодятся в ваших исследованиях.

Структура

- Кратко про А/В-тесты

- Процесс проведения —  первая часть, работа аналитика данных. Расчет fixed horizon и формирование ТЗ;

- Процесс проведения —  вторая часть, работа аналитика стрима проекта. Настройка;

- Процесс проведения —  третья  часть, сбор данных, анализ результатов и выводы.

Данные и информация — это и ценность, и риск одновременно. На основе данных принимаются разного рода управленческие решения, и если данных мало, они недостоверные или в них множество ошибок, то возникает вопрос: какой вектор развития будет лежать на основе анализа таких данных?

Эксперт-аналитик направления сервисов для работы с большими данными Группы «Иннотех» Владимир Ловцов поделился своим мнением о том, как организовать корректную работу с данными.

В большинстве случаев, когда речь заходит об использовании Go, вспоминается backend или DevOps и в самую последнюю очередь можно подумать об использовании Go для создания мобильных или десктопных приложений. Но в действительности, благодаря возможностям интеграции с нативными библиотеками (в том числе, OpenGL и OpenAL для пространственного звука) Go может использоваться и для создания игр (в том числе для мобильной платформы).

В этой статье мы обсудим несколько библиотек, которые могут помочь в создании 3D-графики на Go и обсудим вопросы портирования приложений на мобильные платформы.