Как стать автором
Обновить
-0.59

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Почему эксель уже не топ. Эволюция от Excel до BI систем

Уровень сложности Средний
Время на прочтение 4 мин
Количество просмотров 6.8K
Визуализация данных *Data Engineering *
Из песочницы

Не нужно много времени, чтобы объяснить, что такое excel, зачем он нужен и чем он полезен. Этот, если можно так сказать, All-on-one инструмент вошел в обиход уже очень давно и применяется не только в рамках аналитической работы. Компания Microsoft проделала большую работу и подарила нам tool неописуемый в своем многообразии. VBA (Visual basic for applications) и возможность интеграции Add-ins только усилила это многообразие, сделав его чуть ли не уникальным.

Но, как и во всем, дьявол кроется в деталях, и когда речь о более, скажем так, «тонкой» аналитической работе или обработке big data, мы сталкиваемся с трудностями.

Читать далее
Всего голосов 8: ↑3 и ↓5 -2
Комментарии 13

Новости

Поиск локации для магазинов и другие истории

Уровень сложности Средний
Время на прочтение 16 мин
Количество просмотров 999
Геоинформационные сервисы *Визуализация данных *Машинное обучение *Урбанизм
Кейс

Выбрать правильное место для размещения магазина — ключевая задача в розничной офлайн торговле.

Отраслевые эксперты любят золотое правило трёх самых важных в ритейле «L» (конечно, это «Location», «Location» и еще раз «Location») уже давно.

Сегодня к адептам этого правила присоединились еще и аналитики и data scientist»ы в больших подразделениях сетевых розничных компаний, девелоперов и агентств недвижимости, а также разработчики геосервисов. К слову сказать, правило это тут же преобразовалось в «Location», «Context», «Mobility».

За относительно недолгое время cформировался набор типовых сервисов для определения оптимального месторасположения магазинов. Один из них описан в этой статье.

Читать далее
Всего голосов 8: ↑5 и ↓3 +2
Комментарии 1

Почему 17 исходов лучше 100 тысяч, или как аэропорт систему рекомендаций настраивал

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 893
Анализ и проектирование систем *Визуализация данных *
Кейс

Аналитики строили систему рекомендаций для менеджеров по работе с авиакомпаниями. Рекомендация должна помочь менеджеру вовремя заметить отклонения в показателях авиакомпании, оперативно отреагировать и принять экономически выгодное решение. 

Эта статья о том, как аналитики делали базовую систему рекомендаций, расширяли и углубляли её, увеличивали количество возможных исходов до сотни тысяч и возвращались к началу. Расскажем о том, как система устроена, какие предлагает рекомендации и почему оказалось, что 17 исходов лучше ста тысяч. Вот как это было…

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Комментарии 0

Отображение графа на Python с networkx

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 2.2K
Блог компании SkillFactory Python *Визуализация данных *
Туториал
Перевод


Граф — это форма визуализации, позволяющая показывать и анализировать отношения между сущностями. Например, рисунок ниже показывает вклад редакторов Википедии на различных языках энциклопедии в июле 2013 года:



Можно сделать несколько наблюдений:


  • Английский (en) — основной язык, на который переводятся все остальные языки; в то же время многие англоязычные материалы переводятся на другие языки.
  • Китайский (zh) переводится на японский (ja), но не наоборот.
  • И китайский, и японский материалы переведены на английский, и наоборот.

Я же расскажу о том, как для отображения графов использовать пакет networkx.

Читать дальше →
Всего голосов 6: ↑5 и ↓1 +4
Комментарии 0

Истории

Десять самых распространённых проблем с качеством данных и способы их устранения

Время на прочтение 5 мин
Количество просмотров 2K
Анализ и проектирование систем *Data Mining *Визуализация данных *Хранение данных *
Перевод

Введение


Данные стали основой всех бизнесов мира. В процессе принятия решений организации сильно полагаются на свои ресурсы данных, но, к сожалению, «на 100% чистых и точных данных» не существует. На данные влияют различные факторы, снижающие их качество. По словам специалистов, лучшим способом борьбы с проблемами данных является выявление их первопричин и внедрение новых процессов для повышения их качества. В этой статье рассказывается о распространённых проблемах с качеством данных и об оптимальных способах их устранения. Но сначала давайте разберёмся, почему важно знание этих проблем и как они могут влиять на ведение бизнеса.
Читать дальше →
Всего голосов 3: ↑2 и ↓1 +1
Комментарии 7

Тайны мозга. Анализируем данные MRI с помощью FreeSurfer и Python

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 1.2K
Python *Визуализация данных *Научно-популярное Мозг Будущее здесь
Туториал

Визуализация мозга это революционное направление в неврологии, оно позволяет исследователям получать беспрецедентное представление о структуре и функциях человеческого мозга. Одной из областей, где визуализация показала особые перспективы, является выявление паттернов мозговой активности, связанных с различными предрасположенностями, такими как черты личности, когнитивные способности и психические расстройства. В этой статье мы рассмотрим, как эту технологию можно использовать для выявления предрасположенностей человека, и какие открытия были сделаны в этой области, увидим как, используя данные MRI получить сведения о базовых структурах мозга на примере его коры.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 2

Что такое IT? Куда они пытаются войти? Выбор направления/профессии и первого языка программирования

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 8.5K
Визуализация данных *Терминология IT Карьера в IT-индустрии Презентации
Дайджест
Из песочницы

В айти работают люди-профессионалы, не роботы

При условии, что конкуренция в IT примерно 500 чел./место – рынку не хватает специалистов! Об этом можно легко найти в интернете..

Нужны специалисты которые знают свое дело!
По этой причине я написал о том как им стать и на что стоит обратить внимание в самом начале своего пути. У меня даже есть целая презентация с IT-направлениями! Я еще кое что понимаю в Game Development'те..

Погнали!🐌

Хотите узнать больше?
Всего голосов 30: ↑3 и ↓27 -24
Комментарии 18

Как повысить эффективность обработки данных в сфере авиации. Кейс Xiamen Airlines

Время на прочтение 16 мин
Количество просмотров 752
Блог компании GlowByte Визуализация данных *Управление продуктом *
Кейс
Перевод

Привет, друзья! Сегодня команда Business Intelligence GlowByte поделится материалом от китайских партнеров из FanRuan – кейсом внедрения FineBI в авиации. Статья объемная (и “визуальная”), состоит из двух частей. В первой рассказывается о компании и проблемах, с которыми она столкнулась в работе с большими данными, во второй рассматриваются сценарии использования BI-инструментов в авиации.  

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 2

Ты мог бы стать спортсменом, если бы родился в другой день. Что такое Relative Age Effect?

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 15K
Habr Визуализация данных *Статистика в IT Научно-популярное Инфографика
Из песочницы

Что делает перспективного ребенка из местной спортивной секции чемпионом мира по футболу, олимпийским призером или обладателем Кубка Стэнли?

Талант? Упорный труд? Но что если есть и другая причина, о которой мы раньше не слышали. Или не хотели слышать. Что, если она не так мелодична, не так романтична и уж совсем не вписывается в наше представление об истинном успехе?

Читать далее
Всего голосов 70: ↑64 и ↓6 +58
Комментарии 81

Business Intelligence и бизнес-аналитика: стратегия, этапы, процессы и инструменты

Время на прочтение 17 мин
Количество просмотров 3K
Анализ и проектирование систем *Data Mining *Визуализация данных *Хранение данных *Хранилища данных *
Перевод

Все бизнесы работают с данными — информацией, генерируемой множеством внутренних и внешних источников компании. Эти каналы данных служат органами чувств руководства, предоставляя ему информацию о том, что происходит с бизнесом и рынком. Следовательно, любое ошибочное представление, неточность или нехватка информации могут привести к искажённому восприятию ситуации на рынке и неверному пониманию внутренних операций, что в свою очередь несёт за собой ошибочные решения.

Для принятия решений на основе данных необходимо чётко видеть все аспекты своего бизнеса, даже те, о которых вы не думаете. Но как превратить неструктурированные фрагменты данных в что-то полезное? В этом вам поможет business intelligence.

Мы уже говорили о стратегии организации машинного обучения. В этой статье мы расскажем о том, как интегрировать business intelligence в существующую корпоративную инфраструктуру. Вы узнаете, как подготавливается стратегия business intelligence и интегрируются инструменты в рабочие процессы компании.
Читать дальше →
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 4

Взгляд компьютерным зрением на работу коммунальных служб

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 9.6K
Работа с видео *Обработка изображений *Визуализация данных *Машинное обучение *Инженерные системы *

С помощью обработки данных с уличных камер проанализируем характеристики движения пешеходов. Посмотрим как на их поведение влияет качество работы коммунальных служб. Узнаем насколько сильно замедляет передвижение гололед, и как много шагов нужно, чтобы это выяснить.

Пошагали
Всего голосов 82: ↑82 и ↓0 +82
Комментарии 21

Nvidia и закон Мура. Мур умер, да здравствует Хуанг

Время на прочтение 3 мин
Количество просмотров 18K
Визуализация данных *Гаджеты Искусственный интеллект Видеокарты
Из песочницы

Закон Мура умер, да здравствует закон Хуанга.

Читать далее
Всего голосов 29: ↑20 и ↓9 +11
Комментарии 44

Принципы работы OLTP-систем. Требования ACID

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 1.5K
Блог компании OTUS Администрирование баз данных *Визуализация данных *
Обзор
Recovery mode

Транзакция - достаточно обширное понятие, которое используется в разных сферах жизни. Существует банковская транзакция - это операция, которая состоит в переводе денежных средств с одного счёта на другой. Или бывает банкоматная транзакция – выдача денег либо проведение иной операции с помощью терминала. В юриспруденции понятию «транзакция» придается значение схожее со значением понятия «сделка», а в психологии - это факт коммуникации между людьми (трансакция).

Наконец, для информационных технологий «транзакция» - это последовательность (одна или несколько) операций по работе с данными. Чтобы организовать правильный обмен данными к транзакциям и транзакционным системам применяются некоторые требования, которые легли в основу архитектуры современных баз данных.

Читать далее
Всего голосов 14: ↑9 и ↓5 +4
Комментарии 4

Аналитика рынка профессии с историей (Yandex Data Lake + Power BI)

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 2.3K
Python *Визуализация данных *Карьера в IT-индустрии Облачные сервисы *Data Engineering *
Туториал

Как-то я написал статью Аналитика рынка профессии в три клика. Но подключение, описанное в статье, напрямую к сайту HHru, лишает анализ вакансий историчности. В дашборде хранится только один «снимок» данных на момент загрузки в него. Другими словами, при нажатии кнопки Обновить все данные в дашборде перезатрутся. Было бы интересно видеть картину во времени? Мне да. Тем более, сделать это не сложно, и стоит пару сотен рублей в год. При выборе инструментов и способов у меня был принцип - просто и дешево.

Для того чтобы добавить историчности в дашборд обратимся к облачным технологиям. Нам нужно место, куда мы будем складывать и хранить наши «снимки» данных. Причем сырые ответы сайта в формате JSON. К этому хранилищу мы и будем подключаться из Power BI. Небольшая схема архитектуры на картинке.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Комментарии 11

Визуализация данных с помощью Python Dash

Время на прочтение 8 мин
Количество просмотров 5.8K
Блог компании OTUS Визуализация данных *
Перевод

В этом руководстве вы получите представление о том, на что способен Dash, и как интегрировать его в свой рабочий процесс.

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Комментарии 2

Независимый рейтинг TAdviser: чем Visiology отличается от других вендоров российского BI?

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 967
Блог компании Visiology Big Data *Визуализация данных *Хранение данных *Исследования и прогнозы в IT *
Аналитика

Привет, Хабр! Буквально на днях был опубликован рейтинг TAdviser рынка BI. Редакция долго готовила свой обзор, хотя для составления рейтингов компаний использовались данные 2021 года. В общем-то промедление в данном случае понятно, ведь мы оказались в состоянии переходного периода, когда западные системы внезапно перешли для пользователей в “серую” зону. Но зато результаты этой аналитической работы принесли сразу несколько интересных мыслей, на которые я хотел бы обратить внимание в этом посте. 

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 9

SQL backend или как помочь BI работать с BigData

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 2.2K
Блог компании Visiology PostgreSQL *SQL *Визуализация данных *Хранение данных *
Туториал

Привет, Хабр! В этом посте мы поговорим о том, как происходит подключение к внешней СУБД для BI-платформы Visiology, а также разберем ситуации, когда это действительно нужно. Под катом — подробный разбор возможностей SQL backend, которым может воспользоваться сегодня фактически каждый пользователь Visiology. Кроме этого мы остановимся на нюансах подключения различных СУБД, а также обсудим, в каких ситуациях можно “сесть на два стула” и получить как скорость расчетов, так и поддержку бигдаты для очень больших объемов данных.

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 4

Предсказание оттока пользователей

Время на прочтение 10 мин
Количество просмотров 5.7K
Python *Визуализация данных *Хакатоны Машинное обучение *Искусственный интеллект
Из песочницы

Обработка данных и применение основных видов регрессий для решения задач на Kaggle, на примере соревнования "Предсказание оттока пользователей" от DeepLearningSchool МФТИ.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 5

Администрируем сервер Дельта BI, применяя опыт работы с Tableau Server

Время на прочтение 7 мин
Количество просмотров 475
Big Data *Визуализация данных *Хранение данных *Хранилища данных *
Обзор

Головная боль администратора BI сервера пропорциональна масштабу развернутого решения. Начнем с главных ориентиров, следуя которым мы привыкли достигать баланса в работе BI сервера (и улучшать качество ночного сна админа). А дальше разберемся, какой функционал помогает решать эти и другие задачи в Дельта BI — на фоне привычного для Vizuators Tableau Server (TS).

Читать далее
Рейтинг 0
Комментарии 0

Folium. Как сделать несколько choropleth карт в одной и зачем нужна dualMap?

Время на прочтение 5 мин
Количество просмотров 1.1K
Python *Визуализация данных *Машинное обучение *
Кейс

Привет, Хабр!

Меня зовут Екатерина Кононова, я Data Scientist и участник профессионального сообщества NTA.  Часто возникает проблема визуализации данных за несколько периодов времени. Те, кто уже пытался создавать карты знают, что эту проблему можно решить с помощью разных слоёв на карте. Если заглянуть в код, то можно увидеть, что именно строка folium.LayerControl(). add_to(m) позволяет добавить на карту возможность переключения между слоями, но об этом чуть позже.

Читать далее
Рейтинг 0
Комментарии 1

Вклад авторов