Разработка под AR и VR *

Информационная служба Хабра посетила всероссийский форум «Автоматизация и цифровизация процессов ТОиР в современных условиях». Этот форум — максимально отраслевое мероприятие. Проходило оно в «Сколково» в Москве. Было две площадки с выступлениями и около 10 стендов. Шёл я на мероприятие со смешанными чувствами, с одной стороны, для тематики портала не так много докладов, хотя на научпоп‑конференцию я ходил (скоро и по ней будет отчёт). С другой стороны, в один из дней был целый блок, посвящённый AR/VR‑разработкам и обучению, экзоскелетам, БПЛА, используемым в техническом обслуживании и ремонте (ТОиР). Кроме того, уже на самой конференции я выяснил, что будут доклады о датчиках и использовании IIoT‑технологий в индустриальной промышленности.

В феврале 2020 года началась пандемия, мы перешли на удалённый формат работы и очень быстро освоили новый поведенческий паттерн взаимодействия друг с другом в формате онлайн с помощью сервисов ВКС. Однако со временем недостаток живого общения и ощущения физического присутствия начали приводить к эмоциональному выгоранию, снижению мотивации и общей продуктивности.

Мы с коллегами из команды RnD XR (extended reality) департамента SberDevices начали думать, как можно использовать технологии 3D и XR для повышения качества взаимодействия команд на ежедневных видеовстречах в SberJazz. Так родилась идея решения SberJazz XR.

Специфика моей деятельности связана с имитационным моделированием технологических объектов и процессов (как сейчас модно говорить - цифровые двойники, оптимизация, тренажеры для обучения персонала). И конечно в этом деле постоянно сталкиваюсь с задачей сетевого обмена информацией и синхронизацией данных, как при реализации многопользовательского режима так и при организации сетевого обмена между отдельными моделями. И вот наблюдаю интересную картину — некоторые производители цифровых двойников и тренажеров используют стандарты для этого всего (например OPC UA, IEEE 1516, DDS (Data Distribution Service), MQTT, CAPE‑OPEN, xAPI), а некоторые — делают самоделки, причем закрытые. Особенно меня удивляют товарищи, создающие эти самые самоделки, ни с чем не совместимые и абсолютно закрытые, только для того, чтобы потом с этими самоделками являться «единственным поставщиком» скажем так, требуя при этом совместимости со своими велосипедами, да еще и являются организациями, которые сами же и проверяют совместимость стороннего ПО со своими‑же велосипедами. Жуть, в общем.

Четыре года я занимаюсь разработкой различных спецэффектов для фото и видео в мобильных приложениях. Вроде бы это локальная и как бы несерьезная тема, но одну только плачущую маску в Snapchat посмотрели 9 млрд раз. Такие штуки пользуются бешеной популярностью и здорово повышают виральность мобильных приложений, но с каждым годом удивлять людей становится все сложнее.

В этой статье я разберу эволюцию видеоэффектов, поделюсь наблюдениями и раскрою пару инсайдов о том, как перенести стилизацию изображения из StableDiffusion на смартфоны.

Это статья про компьютерные игры и о погружении в них, об «игровом выгорании» — когда кажется, что хороши игОр нет, и что играть уже не во что. 

Мы попробуем разобраться, что влияет на погружение в игры и как можно усилить эффект погружения для виртуальной реальности. Подумаем, стоит ли использовать для этих целей трансовые состояния или гипноз. Обсудим эксперимент с резиновой рукой и расскажем об игре, которая управляется дыханием.

Опишу мой спонтанный эксперимент по борьбе с фобиями с помощью VR, на примере девушки которая боялась высоты. А также расскажу о попытках привлечь психотерапевтов для решения задачи более полного погружения. Спойлер: по этическим соображениям почти никто не согласился.

На неделе закончили интересный проект - цифровой двойник буровой установки УРАЛМАШ БУ 5000/320ЭУК-Я, которая предназначена для бурения глубоких и сверхглубоких скважин на нефть и газ, с условной глубиной бурения 5000 метров...

Сегодня (28 сентября) открыт предзаказ новых очков виртуальной реальности Oculus Quest 3, релиз которых назначен на 10-ое октября. Сделаю небольшой обзор шлема, выскажу своё мнение о нём, сравню с предыдущим шлемом Quest 2 и Pico 4.

Сам я активно пользуюсь Oculus Quest 2 уже пару лет и если сравнивать их с третьей версией, то забегая впёрёд скажу, что новый шлем выглядит просто потрясающе!

В июне этого года на WWDC2023 компания Apple презентовала новое устройство — Apple Vision Pro. Под соусом Джобсовского «One more thing…» — легендарной фразы, с которой Стив презентовал новый продукт, Тим Кук рассказал нам о новой разработке Купертино.

Многие привыкли видеть в новых продуктах Apple революцию и какой-то технологический прорыв. Казалось бы, и здесь тоже самое — заявленный функционал поражает воображение. Вот только у продукта есть проблемы. И их много.

Аварии и инциденты зависят от ошибок персонала?

«Человеческий фактор» зависит от уровня подготовки персонала?

Вероятности ошибок на тренажере равна вероятности ошибок в реальных условиях?

Как получить положительный и отрицательный перенос навыков при обучении на тренажерах на условия реальной работы?

Всем привет! Меня зовут Шико, я работаю в Яндекс Маркете в команде Android-разработки. Сегодня я расскажу историю, которая случилась в 2021 году. Как-то раз я вызвался добавить в мобильное приложение AR (то есть, дополненную реальность). Оно нужно, чтобы товар можно было «примерить» в интерьер.

Сначала я расстроился: показалось, что ничего особо интересного не будет — всего-то подключить ARCore и делов. Но это ровно до тех пор, пока не выяснилось, что большинство файлов моделек было в USDZ-формате, а ArCore на тот момент с ним не работал. То есть, когда на iOS в процессе разработки таких проблем не возникало, нам нужно было придумать способ перевести существующие модельки в другой формат — GLB. Казалось бы, скачай конвертер и нажми на кнопку «Конвертировать». Не тут-то было. 

И в этой статье я расскажу, какие методы конвертации я пробовал, почему они не подошли и с чем не смогли справиться Blender и Unreal Engine. Спойлер: в итоге мне пришлось написать собственный плагин и я покажу его код.

Мы изучили отчеты опубликованные министерством труда и социальной защиты Российской Федерации, а также открытые данные Федеральной службы по экологическому, технологическому и атомному надзору. (Официальные документы приведены.)

На 2020-2022 год наблюдается сокращение случаев производственного травматизма, однако в абсолютных числах ситуация следующая:

Занимаясь уже достаточно давно iOS разработкой, имея личный опыт в разработке VR устройств и собственного комплекса фотограмметрии, в этот раз я откровенно был впечатлен долгожданным анонсом Apple гарнитуры смешанной реальности Vision Pro на WWDC2023. Компанией была представлена новая платформа, по‑большому счету, со всеми уже знакомыми современными инструментами iOS‑разработки. Пазлы ARKit, RealityKit и SwiftUI наконец‑то сложились и я рад поделиться подборкой ссылок на ресурсы и стартовые материалы. Перед чтением, конечно полезно немного пофантазировать о будущих приложениях, которые обязательно изменят мир. Приготовьтесь начать погружение или добавляйте материал в закладки (которые вы так никогда и не прочитаете), поехали!

UNIGINE в четвертый раз собирает под открытым небом разработчиков и пользователей 3D-движка UNIGINE и спикеров из индустрии разработки игр.

Будем слушать лекции о программировании, работе с нейросетями, визуальных эффектах, пайплайнах создания пропсов и окружения, процедурной анимации, и др., создавать игру про комара, обмениваться опытом с единомышленниками из индустрии, отдыхать, играть в мяч, рисовать на лицах, танцевать, лежать на сене - в прямом смысле совмещать приятное с полезным.

Подробнее о UNIGINE Open Air 2023 - под катом.

Дисклеймер: я не "яблочный фанат", яблоками пользовался долго, не понравилась ограниченность платформы и пользовательских сценариев, но сильные стороны их философии я полностью признаю.

Кратко: шлем - пушка! Но не для VR геймеров (пока что), да и вообще широкому кругу покупателей первое поколение брать ни к чему - "это на новый год", ждите второе поколение, подешевле. Зато вся индустрия XR и VR дружно побежит вперед, в светлое будущее. Будет интересно.

Подробно: Тема большая и к ней можно подходить с разных сторон. Я люблю VR в первую очередь за игры, и основное сравнение буду делать с Quest 2 ($350) как с самым массовым устройством, но в целом попробую затронуть все основные моменты. Давайте разбираться.

В прошлых статьях(Управляем роботами из VR и Управляем роботами из VR. Продолжение 1), мы реализовали основные сетевые функции, настроили DataChannel и работу с медиатраками из JS/Unity/Python. В этой статье мы реализуем управление камерой и манипулятором.

Продолжение статьи Управляем роботами из VR. В прошлой статье, в частях 1 и 2 мы провели начальную подготовку и реализовали сигнализацию для компонентов средствами websocket. В этой статье мы реализуем работу по WebRTC.

Удаленная работа уже давно шагает по миру и сильнейшее влияние оказывает все же на ИТ и около ИТ индустрию, а что же ждет сотрудников, которые не могут перейти на «удаленку» из-за специфики задач? А ждет их все то же самое – они (почти) все так же отправлятся на «удаленку», и поможет этому событию робототехника и VR!

За последнее десятилетие прогресс в робототехнике и иммерсивных технологиях(VR в частности) просто невероятен. Многие компании уже давно работают в этой области – OhmniLabs, Double Robotics, GITAI, Telexistence и т.д., а такие акции как ANA Avatar XPRIZE еще сильнее стимулируют развитие направления.

Но вместо тысячи слов о сферах и плюсах использования, давайте посмотрим как же это работает вживую – соберем из глины и веток свое решение и пощупаем неминуемое светлое будущее твердой холодной клешней робоманипулятора из VR.

Вернемся к вопросу оценки эффективности систем формирования виртуальной реальности в контексте обучения персонала, т.е. при использовании VR в компьютерных имитационных тренажерах. Данная статья является продолжением темы https://habr.com/ru/articles/508390/.

Тема данного поста является актуальной, поскольку в образовательном сообществе есть запрос на исследование эффективности VR. В данном посте я также попытаюсь ответить на некоторые вопросы, обсуждаемые практиками в группе "VR/AR в обучении "(https://t.me/dl_vr_in_digitallearning)

Одним из направлений развития имитационного моделирования технологических процессов и оборудования современного производства является применение компьютерных имитационных тренажеров (КИТ) для обучения персонала. Система ввода-вывода таких имитаторов может быть выполнена:

с использованием стандартных средств (клавиатура/мышь);

с использованием точной копии органов управления;

с использованием VR;

VR + реальные копии систем управления;

AR и другие варианты.

Эта статья может быть полезна тем кто хочет попробовать создать механики для VR но у него еще нет шлема, или если у вас уже раскалывается голова от постоянного тестирования вашего продукта.
Именно такая проблема и побудила меня задуматься в этом направлении

Для того чтобы не усложнять лишнее мы будем пользоваться темплейтами, и с их помощью соберем нашего персонажа.

Моей целью является показать основную логику, и для каждого проекта в зависимости от используемых персонажей VR и их логики, многие этапы могут отличаться.