Как стать автором
Обновить

Счетная палата РФ открывает свои исходные коды

Время на прочтение2 мин
Количество просмотров5K


Счетная палата выходит на новый уровень прозрачности и первой из российских государственных органов открывает свои исходные коды. Доступными для общественности станут новые проекты контрольного ведомства по автоматизации работы инспекторов и сотрудников.
Читать дальше →
Всего голосов 20: ↑18 и ↓2+16
Комментарии8

JetBrains представила Kotlin Notebook

Время на прочтение2 мин
Количество просмотров24K

JetBrains запустила бета-тест интерактивного блокнота Kotlin Notebook для одноимённого языка программирования. Блокнот доступен в виде расширения для IntelliJ IDEA Ultimate.

Читать далее
Всего голосов 18: ↑15 и ↓3+17
Комментарии50

Нефть глазами аналитика данных

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров3.6K


Любите ли вы работать с данными, как люблю это делать я? Страдаете ли вы также от несовершенства инструментов для анализа данных? И вот, буквально в первых строках, я понимаю, что мне надо быть очень аккуратным, дабы не задеть чувства, к примеру, фанатов Excel или Notepad++. Попытаюсь исправить ситуацию: Эксель великолепен! Лучшая low-code система! Notepad++ бесподобен… но попробуйте поработать этими инструментами с данными размером с один миллион строк… эх, не удержался. Ну и раз статья обещает быть провокационной, добавлю еще огоньку: я хочу продемонстрировать, как обрабатывать и анализировать данные по всем обезличенным сделкам по нефти. Взглядом аналитика покажу, как крупный капитал управляет рынком. И да, я хочу, чтобы такая возможность была доступна не только корпорациям с их ресурсами, а обычному пользователю с ноутбуком. Текст статьи не является инвестиционной рекомендацией, все совпадения случайны.
Читать дальше →
Всего голосов 9: ↑7 и ↓2+6
Комментарии19

Шпаргалка по визуализации данных в Python с помощью Plotly

Время на прочтение62 мин
Количество просмотров294K
Plotly — библиотека для визуализации данных, состоящая из нескольких частей:

  • Front-End на JS
  • Back-End на Python (за основу взята библиотека Seaborn)
  • Back-End на R

В этой простыне все примеры разобраны от совсем простых к более сложным, так что разработчикам с опытом будет скучно. Так же эта «шпаргалка» не заменит на 100% примеры из документации.



Читать дальше →
Всего голосов 15: ↑15 и ↓0+15
Комментарии17

Влияет ли на наши музыкальные предпочтения пол вокалистов?

Время на прочтение6 мин
Количество просмотров5.2K


Привет всем любителям смотреть на бесполезные графики!


Я несколько раз слышал мнение людей, разбирающихся в музыке, о том, что слушатель необъективен к тембру исполнителей.


В том числе утверждается, что на наши предпочтения влияет пол вокалиста. Если очень грубо, то "мальчики при прочих равных больше любят слушать девочек, и наоборот".


Кажется, это одно из таких утверждений, проверка которых на реальных данных совершенно бесполезна в жизни, но страшно интересна.


Если вы придерживаетесь той же точки зрения — добро пожаловать под кат!

Читать дальше →
Всего голосов 15: ↑15 и ↓0+15
Комментарии52

Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности

Время на прочтение13 мин
Количество просмотров2.4K
Это серия статей посвящена исследованию строительной активности главного города Кремниевой Долины — Сан-Франциско. Сан-Франциско — технологическая «Москва» нашего мира, на примере которого (при помощи открытых данных) можно наблюдать за развитием строительной отрасли в больших городах и столицах.

Построение графиков и расчётов проводилось в Jupyter Notebook (на платформе Kaggle.com).

Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последнии тенденции и историю развития строительной отрасли за последние 40 лет, в период с 1980 по 2019 год.

Открытые данные дают возможность исследовать основные факторы, которые влияли и будут влиять на развитие строительной отрасли в городе, разделив их на “внешние” (экономические бумы и кризисы) и “внутренние” (влияние праздников и сезонно-годовых циклов).
Читать дальше →
Всего голосов 4: ↑4 и ↓0+4
Комментарии14

Как запустить PULSE (face-depixelizer) на Linux в Windows 10 (WSL)? Туториал

Время на прочтение9 мин
Количество просмотров6.3K
В один из весенних вечеров 2020 года я прочитал статью о нейросети face-depixelizer. После изучения, оказалось, что это своего рода фронтэнд для движка PULSE. Который базируется на нейросети StyleGAN (генерирует лица со случайными чертами).

В этом туториале по шагам расскажу и покажу, как я установил Ubuntu на Windows 10 (WSL), настроил окружение для экспериментов с PULSE, закинул очередную исходную фотографию и получил неплохой результат.
Результат восстановления исходного изображение в PULSE
Анимация морфинга и видео-туториал — далее.
Всего голосов 4: ↑3 и ↓1+3
Комментарии5

Data Science блог с помощью fastpages

Время на прочтение9 мин
Количество просмотров1.9K

Как запустить свой DS/ML/AI/Tech блог с минимумом сложностей связанных с хостингом и деплойем этого блога.

Всего голосов 5: ↑4 и ↓1+6
Комментарии1

Блокнот-шпаргалка для быстрого Data preprocessing

Время на прочтение8 мин
Количество просмотров11K
Часто люди, заходящие в область Data Science, имеют не совсем реалистичные представления о том, что их ждет. Многие думают, что сейчас они будут круто писать нейросети, создавать голосового помощника из Железного Человека или обыгрывать всех на финансовых рынках.
Но работа Data Scientist завязана на данных, и один из важнейших и время затратных моментов — это обработка данных перед тем, как их подавать в нейросеть или анализировать определенным способом.

В этой статье наша команда опишет то, как можно легко и быстро обработать данные с пошаговой инструкцией и кодом. Мы старались сделать так, чтобы код был довольно гибким и его можно было применять для разных датасетов.

Многие профессионалы возможно и не найдут ничего экстраординарного в этой статье, но начинающие смогут подчерпнуть что-то новое, а также каждый, кто давно мечтал сделать себе отдельный notebook для быстрой и структурированной обработки данных может скопировать код и отформатировать его под себя, или скачать готовый notebook с Github.
Читать дальше →
Всего голосов 6: ↑6 и ↓0+6
Комментарии1

Хайповые строительные сектора и стоимость работ в Большом городе. Инфляция и рост чека в Сан-Франциско

Время на прочтение11 мин
Количество просмотров2.4K
Сан-Франциско — технологическая «Москва» нашего мира, на примере которого (при помощи открытых данных) можно наблюдать за развитием строительной отрасли в больших городах и столицах. В этом технологичном городе очень выраженно проходили экономические циклы, которые в разные временные промежутки, давали взрывной рост спроса разным секторам недвижимости.

Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последние тенденции и историю развития строительных секторов и спроса на недвижимость за последние 30 лет.

В прошлой статье была рассмотрена общая годовая сумма строительных объемов (инвестиций) в Сан-Франциско в период с 1980 по 2018 год. По разнице между ожидаемой (сметной) и фактической (пересмотренной) стоимостью строительства отслеживались движения настроений инвесторов в периоды экономических бумов и кризисов в регионе.

Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности



В данной статье рассмотрим подробнее отдельные отрасли строительства: ремонт крыш, кухонь, лестниц и ванных комнат. После этого сравним инфляцию по отдельным типам работ с данными по официальной инфляции и другими экономическими показателями.
Читать дальше →
Всего голосов 4: ↑4 и ↓0+4
Комментарии4

Jupyter для .NET. «Как в питоне»

Время на прочтение3 мин
Количество просмотров9K
Несколько месяцев назад Microsoft рассказали о Jupyter в .NET. Но активности по этому топику очень мало, а ведь тема очень интересная. Но что такое прикольное придумать? Я решил сделать удобный вывод класса Entity из библиотеки символьной алгебры:



Выглядит круче, чем в питоне. Делается просто, доставляет массу удовольствия. Приглашаю под кат!
Читать дальше →
Всего голосов 24: ↑24 и ↓0+24
Комментарии11

Как визуализировать и анимировать (геофизические) модели

Время на прочтение3 мин
Количество просмотров6.9K

Данная публикация это начало цикла статей. Если вам интересно, скажите об этом, а если не интересно, цикл на этом и закончится, тогда просто смотрите ниже список необходимого программного обеспечения и примеры.


Также смотрите другие статьи цикла:



Это не пошаговое руководство по визуализации трех- и четырехмерных данных, а подход к тому, как и чем это можно сделать и, притом, сделать качественно. Вероятно, многие из нас бывали в ситуациях, когда уже есть подготовленные с большим трудом данные, которые необходимо визуализировать, но неизвестно, как же это сделать так, чтобы не испортить все впечатление от выполненной работы. Существует много коммерческого программного обеспечения для этих целей, но мы будем рассматривать исключительно Open Source программы.


Tambora Volcano, Indonesia

Всего голосов 13: ↑12 и ↓1+18
Комментарии9

Как выбрать лучшее место для открытия филиала и визуализировать результаты на картах

Время на прочтение4 мин
Количество просмотров7.8K

Выбор места для нового филиала — ответственное решение. Ошибка может стоить дорого, особенно в капиталоемких отраслях. Чаще всего такие решения принимаются менеджментом экспертно: на основе знания города, отрасли, предыдущего опыта.


В статье я расскажу о том, как аналитика может помочь в принятии таких решений. Как собрать информацию о населении, ценах на недвижимость и сделать интерактивные визуализации. Зависит ли кол-во клиентов от расстояния до филиала, года постройки дома, стоимости недвижимости.


Население города с точностью до дома


Читать дальше →
Всего голосов 21: ↑18 и ↓3+15
Комментарии20

10 полезных расширений для дата-сайентистов

Время на прочтение5 мин
Количество просмотров14K

Каждый специалист по Data Science тратит большую часть своего времени на визуализацию данных, их предварительную обработку и настройку модели на основе полученных результатов. Для каждого исследователя данных именно эти моменты – самая сложная часть процесса, поскольку хорошую модель можно получить при условии, что вы точно выполните все эти три шага. И вот 10 очень полезных расширений Jupyter Notebook, которые помогут вам выполнить эти шаги.

Приятного чтения!
Всего голосов 19: ↑19 и ↓0+19
Комментарии0

О прелестях перехода на панель и не только

Время на прочтение5 мин
Количество просмотров5.8K
image

Как очевидно из заголовка, речь пойдет о библиотеке Panel, которая позволяет конвертировать Jupyter блокноты в безопасные веб приложения, где начинка скрыта от нетехнических пользователей, но остается свобода манипулирования внутренними параметрами, то есть не просто перестраивать данные, но и делать запросы в кернел. TL;DR Shiny for Python.
Читать дальше →
Всего голосов 24: ↑14 и ↓10+4
Комментарии9

Google Earth Engine (GEE) как общедоступный каталог больших геоданных

Время на прочтение5 мин
Количество просмотров4.6K

В прошлой статье Google Earth Engine (GEE) как общедоступный суперкомпьютер речь шла про работу в облачном редакторе GEE, где для доступа достаточно лишь наличия Google почты. Если потребности ограничиваются разовыми задачами и гигабайтами извлекаемых данных, то этого вполне достаточно. Но для автоматизации множества даже мелких задач облачный редактор не лучший способ работы и, тем более, когда требуется многократно получать растры суммарным размером в терабайты. В таких случаях потребуются другие инструменты и сегодня мы рассмотрим возможности доступа из консольных shell и Python скриптов и Python Jupyter notebook.



На скриншоте Python Jupyter ноутбук, где растр с данными о плотности населения за 2020 год из каталога Earth Engine data Catalog: WorldPop Global Project Population Data отображен на карте OpenStreetMap

Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии4

Google Earth Engine (GEE): ищем золото по всему миру с помощью больших данных и машинного обучения

Время на прочтение5 мин
Количество просмотров4.8K

В предыдущих статьях Google Earth Engine (GEE) как общедоступный суперкомпьютер и Google Earth Engine (GEE) как общедоступный каталог больших геоданных мы познакомились со способами удобного и быстрого доступа к каталогу космических снимков и их обработки. Теперь мы можем искать питьевую воду, различные минералы и вообще много всего. А еще можем вооружиться методами машинного обучения (ML) и сделать свою собственную карту сокровищ — прогноз для поиска золотых месторождений в любом месте мира. Как всегда, смотрите код и исходные данные (синтетические, конечно, ведь реальные данные — буквально на вес золота!) на GitHub: AU Prediction (ML)



На острове Западная Сумбава с помощью построенного классификатора выделены прогнозируемые золотоносные участки.

Читать дальше →
Всего голосов 3: ↑3 и ↓0+3
Комментарии4

Запускаем Golang на Jupyter Notebook

Время на прочтение5 мин
Количество просмотров5.9K

Если вы знакомы с Python, то уже сталкивались с Jupyter Notebook или работали в нём по крайней мере один раз. Jupyter Notebook — это удобный инструмент, позволяющий писать мини-код и отслеживать его выполнение. Он также помогает в документировании, ведении журнала и в том, чтобы поделиться своими работами с коллегами.

Неудивительно, что многие люди и крупные организации, такие как Netflix, для своих целей в разработке предпочитают Jupyter Notebook. Специально к старту нового потока курса по разработке на Go 26 мая мы решили поделиться переводом, автор которого рассказывает, как документировать проекты на Golang в Jupyter Notebook.

Читать далее
Всего голосов 5: ↑4 и ↓1+5
Комментарии2

Как опухоли головного мозга воздействуют на коннектом

Время на прочтение7 мин
Количество просмотров16K

Известно ли вам, что в настоящее время более 700 000 американцев живут с опухолью головного мозга? И большинство из этих людей, ничего не подозревая, могут продолжать жить с этой опухолью до самой смерти, возможно, от других причин. Поскольку 70 % опухолей мозга доброкачественные, нередки случаи, когда человек, не зная забот, продолжает жить с опухолью мозга. Даже оставшиеся 30 % злокачественных раковых опухолей могут не привести к немедленной смерти. Как эти сгустки вышедших из-под контроля клеток влияют на структуру мозга? И как их наличие влияет на вас?

Читать далее
Всего голосов 13: ↑13 и ↓0+13
Комментарии2

Легенды и мифы геофизики

Время на прочтение10 мин
Количество просмотров5.1K

Давайте посмотрим, насколько понятно устроена природа, и как просто это можно доказать, при этом познакомимся с мифами, в которые зачастую верят геофизики (хотя их учили совершенно противоположному, как будет показано ниже). Откройте учебники и статьи по геофизике и вы увидите там преобразования Буге, разложения по сферическим функциям и другие термины, заимствованные из разных наук. При этом, преобразование Буге придумано 300 лет назад для анализа результатов нескольких десятков измерений, а форма нашей планеты далека от сферической настолько, что глобальные модели оперируют эллипсоидами. Все это наследие чрезвычайно затрудняет понимание простых и очевидных, в общем-то, вещей и явлений.



Видите взаимосвязь ортофотоснимка и рельефа? Если да, то вы или геолог или можете им стать: корреляция компонентов (разложения в пространственный спектр) составляет 41% для длины волны 20 м, 58% для 50 м и 99% для 300 м (Jupyter Python ноутбук с вычислениями доступен по ссылкам ниже). Большинство геофизиков клянутся, что «это у вас спектры порченые» (записано с натуры), игнорируя и геофизику и прилагаемые вычисления и ссылки на публикации.

Читать дальше →
Всего голосов 10: ↑8 и ↓2+7
Комментарии5