В данной работе представлено использование Полной сверточной сети (FCN-8) для семантической сегментации спутниковых изображений земной поверхности высокого разрешения в формате RGB на категории землепользования.
Привет, Хабр!
Мы – Александр Просвирнин, руководитель проектного направления, и Иван Григорьев, старший менеджер, работаем в команде продукта «Видеонаблюдение» МТС.
В этой статье мы расскажем о том, как современные технологии помогают бороться с лесными пожарами. Внутри команды мы придумали решение на базе видеоаналитики, которое существенно улучшает процесс мониторинга возгораний.
Привет! На связи команда геоинформационных систем «Магнита». Мы начинаем серию очерков о модели прогнозирования продаж в новых магазинах. В первой статье расскажем про один из наиболее значимых признаков модели — балле Хаффа. Мы постараемся описать теоретическую сторону и покажем реальные примеры решения возникающих сложностей. Надеемся, эта статья предоставит ценные идеи и информацию для ваших задач, будь вы опытный специалист или новичок. Итак, приступим!
Сегодня открою вам Америку на основе данных OpenStreetMap в PostgreSQL15/PostGIS и моего проекта openstreetmap_h3. Запустим запрос и сравним время его выполнения на колоночном хранилище Citus в PostgreSQL и на стандартном в секционированной по H3 геоиндексу базе данных объемом 100GB.
Найдем top15 мест по застройке а Северной Америке и общую протяженность дорог, а также их тип и покрытие. Не буду перегружать публикацию логами программ, сфокусируемся на данных! Вы можете легко повторить все запросы самостоятельно на своем компьютере или ноутбуке.
Продолжим тему из публикации «Как поместить весь мир в обычный ноутбук: PostgreSQL и OpenStreetMap».
Сегодня визуализируем 15 мест где в России больше всего зданий. В этом нам поможет мой проект openstreetmap_h3 и PostgreSQL 15. На данный момент OpenStreetMap H3 единственное решение для импорта OSM данных партиционированных по H3 геоиндексу в PostgreSQL и Citus massive parallel processing. Сохраним данные в колоночное хранилище и посмотрим на план запроса для него.
В этой публикации мы будем агрегировать данные в большой таблице где нас интересуют для этих операций лишь два столбца и сможем извлечь пользу от этой модели данных на NVMe накопителе. Раньше я работал с колоночными базами данных AWS Redshift, Dremio, QuestDB и HeavyDB, но не смотря на их производительность, до функционала/протестированности и стабильности PostgreSQL им еще пока еще ох как далеко. Вот и отлично, попробуем получить все плюсы экосистемы PostgreSQL и колоночного хранилища citus. Вперед, к заветной цели на самых свежих версиях программ нашего аналитического стека!
Зачем же обычному человеку информация из прошлой публикации "Как поместить весь мир в обычный ноутбук: PostgreSQL и OpenStreetMap"? Если надоело в пятницу читать мемасики и лайкать фотографии котиков в соцсетях, то можно задаться глобальными проблемами аналитики и посчитать протяженность дорог России. Ведь не за горами времена автомобилей с автопилотами... Это конечно не 42, как ответ на главный вопрос жизни, вселенной и всего такого, но результаты будут тоже достаточно лаконичными.
Для этого нам понадобится ноутбук или обычный десктоп, несколько десятков гигабайт свободного места, установленный docker, JVM 11+, maven и мой проект openstreetmap_h3. Анализировать геоданные мы будем с помощью PostgreSQL 15.1, PostGIS 3.3.2, H3 4.1.1. Исходные данные из проекта OpenStreetMap, запросы к БД не претендуют на правильность и качество исходных данных в масштабе страны нам не известно! Данная публикация является грубой интерпретацией данных OSM в первом приближении и не претендует на истинность и неопровержимость. Так же как не стоит верить оценке Хабра на чтение статьи в 127 минут, что сильно превышает реальные 5 минут, которые вы потратите на ознакомление с публикацией.
Продолжу рассказ "Как поместить весь мир в обычный ноутбук: PostgreSQL и OpenStreetMap" секретами о геоданных OpenStreetMap, на которых множество компаний построили бизнес но не все делятся подробностями... Что ж, сегодня приоткроем завесу!
База данных в PosgreSQL после загрузки из дампа занимает больше 587 GB. Это уже по меркам СУБД большая база и одна огромная таблица на каждый тип объектов не сработает. Для управляемости такие данные надо секционировать, хорошо что PostgreSQL поддерживает декларативное секционирование данных. Осталось лишь придумать как разделить географические данные. После поисков и сравнений мне на помощь пришла иерархическая гексагональная геопространственная система индексирования H Все это было реализовано в моем проекте openstreetmap_h3 для быстрой обработки и загрузки мира в базу.
Когда человек раньше говорил что он контролирует весь мир, то его обычно помещали в соседнюю палату с Бонапартом Наполеоном. Надеюсь, что эти времена остались в прошлом и каждый желающий может анализировать геоданные всей земли и получать ответы на свои глобальные вопросы за минуты и секунды. Я опубликовал Openstreetmap_h3 — свой проект, который позволяет производить геоаналитику над данными из OpenStreetMap в PostGIS или в движке запросов, способном работать с Apache Arrow/Parquet.
Первым делом передаю привет хейтерам и скептикам. То что я разработал — действительно уникально и решает проблему преобразования и анализа геоданных используя обычные и привычные инструменты доступные каждому аналитику и датасаенс специалисту без бигдат, GPGPU, FPGA. То что выглядит сейчас простым в использовании и в коде — это мой личный проект в который я инвестировал свои отпуска, выходные, бессонные ночи и уйму личного времени за последние 3 года. Может быть я поделюсь и предысторией проекта и граблями по которым ходил, но сначала я все же опишу конечный результат.
Первый пост не претендует на монографию, начну с краткого обзора...
Чем заняться приятным пятничным вечером? Посидеть в баре с друзьями, зачистить рейд в WoWке? Да ну нафиг. Давайте запускать астероиды!
Сервис с незатейливым названием Asteroid Launcher предлагает поиграть в бога. Вы можете выбрать любую точку земного шара и направить туда астероид с выбранными настройками. Помимо симпатичной анимации вы получите сводку нанесённого ущерба.
Думаете, Apple Silicon Air и iMac выглядят совсем уж "не серьезно" для задач обработки многотерабайтных данных? Я сам так и думал, к счастью, реальность оказалась намного интереснее. Давайте посмотрим на топовые Apple Silicon M1 iMac и M2 Air на примерах работы с данными спутниковой интерферометрии (мое хобби и, порой, работа).
Попробуйте сверхбыстрый хостинг в России от AdminVPS
В преуведомлении к этой статье позволю себе отрекламировать одного из самых харизматичных и разносторонних интеллектуалов в России, с кем мне доводилось играть в «Что? Где? Когда?» и доверительно общаться – Дмитрия Славина из Долгопрудного. В настоящее время Дмитрий преподаёт географию, о чём не так давно дал большое интервью сайту «Правмир», а также ведёт в Москве интереснейшие авторские квизы «Ёквиз», в онлайн-тестировании которых я стараюсь участвовать. Дмитрия я по-прежнему с нетерпением жду на Хабре как потенциально топового автора, именно от него знаю слова «джипни», «Аннапурна» и «нойон», а также почерпнул множество вкуснейших идей и фактов. В одном из недавних тестовых прогонов узнал от Дмитрия о выдающемся географическом открытии конца XX века – пещерной реке Пуэрто-Принсеса на филиппинском острове Палаван. Река описана в 1999 году, её длина составляет более 8 км. Сейчас часть гротов с Пуэрто-Принсесой окультурена, туда водят экскурсии.
Этот природный феномен заставил меня задуматься о том, как вообще происходит картирование пещер и подземелий, какой софт для этой цели существует, и какую пользу может иметь такая практика для развития новых технологий. Именно об этом коротко расскажу под катом.
Приветствую Вас, хабровчане!
В статье поговорим о всем известном алгоритме Дейкстры для поиска кратчайших путей между вершинами взвешенного графа, а также о том, как с помощью данного алгоритма найти оптимальный путь между двумя заданными точками на поверхности и обойти препятствия в лабиринте.
Теперь место, где поставить новый банкомат, определяет система машинного обучения. Мы готовили её целый год: за 2-3 месяца сделали первое решение, а потом дорабатывали, оптимизировали и ждали новых данных по банкоматам, установленным уже с помощью системы. Под капотом я расскажу, как это происходило — и кто снимает много денег в безлюдных местах.
Привет, Хабр! Меня зовут Алексей Алексеев, я руковожу геоаналитическими сервисами в Platforma. И сегодня я хочу рассказать вам, как мы разрабатываем и внедряем инструмент аналитики для бизнеса, с помощью которого предприниматель способен за полчаса выбрать идеальную точку для открытия бизнеса в конкретном городе.
У Starlink Илона Маска нашлось новое применение, и технологию для этого смогли разработать даже несколько простых исследователей без какого-либо финансирования. Тем не менее сам Илон Маск отказывается от вложения каких-либо средств в это направление, и даже запрещает своей команде как-либо поддерживать развитие подобных новых проектов.
Привет, Хабр! Я работаю аналитиком в компании “Центр пространственных исследований” и в этой статье я хочу рассказать об одном из интересных кейсов из нашей практики.
Рейтинги. Слово знакомое многим, потому что практически каждый сталкивается с различными списками ежедневно. Почему они так популярны? Ответ простой: упрощают выбор. Этот выбор может быть связан с бытовыми задачами (какому бренду сыров отдать предпочтение?), с рабочими (какого поставщика выбрать?) или с личными (куда мне поехать в отпуск?). И для того, чтобы упростить этот процесс, и существуют рейтинги.
И, конечно же, выборы могут быть связаны с бизнес-задачами. И в данном случае рейтинги могут помочь определиться с более глобальными решениями и сделать рациональный выбор. Такой формат может быть удобен и когда Вы рассматриваете 2 альтернативы, и, когда их значительно больше. Главное в этом вопросе – это правильно подобрать критерии, создать единую шкалу и определиться с весом каждого фактора. Чтобы показать, насколько рейтинги необходимы в процессе принятия решений, предлагаем Вам рассмотреть следующий кейс.
Когда мы расставляем мебель в комнате, мы ориентируемся на габаритные размеры мебели и фурнитуры, а не на их занимаемую площадь, и мебель часто квадратной формы. С полигонами на карте дело обстоит немного иначе, они могут быть произвольной формы, но должны иметь определенную площадь, а задача такая же как и с мебелью - уместить всё в комнату (участок). Когда полигоны квадратные, то рассчитать нужное изменение длины ребра для получение желаемой площади, не так и сложно. С полигонами сложной формы всё не так просто, но и это тоже не проблема, ведь можно методом тыка подобрать нужную площадь. Проблема возникает когда количество полигонов возрастает. Пример: на изменение полигона сложной формы уходит 5 минут (грубо говоря), но нам нужно изменить 15 полигонов, считаем и получаем 75 минут. За 75 минут можно сделать гору полезных дел, а всего было отредактировано 15 полигонов. Если полигоны придется менять заново? вдруг нужно их будет разбить на другую площадь? Вот была бы такая программа, которая сама бы изменяла полигон и добавляла бы нужную площадь.
Продолжение рассказа про разработку pet-проекта о кафе и коворкингах на солнечном Кипре. "Рабочие места" для цифровых кочевников ヽ(。_°)ノ
В первой части я рассказал про REST API микросервис, теперь - про фронтэнд-сайт.
