Кто-то ещё сомневается, что в мире машинного обучения происходит революция? Уверен, мы являемся свидетелями преобразования привычного взаимодействия с данными, поиска информации, да и вообще работы как таковой. Ведь умные ассистенты (ChatGPT, GigaChat, Bard) готовы взять на себя даже самые сложные задачи.
Но не всегда возможно сформулировать проблему в виде текстового запроса, иногда требуется информация из других “модальностей” — картинка, звук, 3D и тд. Ниже я разберу какие именно есть способы соединения больших языковых моделей (LLM) с дополнительными форматами данных, а также опишу как устроена наша новая модель OmniFusion.
Дизайн
Новости
Не нужно блокировать кнопки
АСМОграф — замена Microsoft Visio, MapInfo и в какой-то мере даже AutoCAD
Многим компаниям сегодня приходится менять привычное программное обеспечение, потому что лицензии на западное ПО не удается продлить, а работа приложений становится нестабильной. В этом посте мы подробнее расскажем про векторный редактор АСМОграф, который уже несколько лет является альтернативой зарубежным программным пакетам при работе со схемами и чертежами. Те, кому нужно было ПО, зарегистрированное в реестре, уже работали с этой программой, а сегодня АСМОграф стал интересным решением и для всех остальных, кто занимается проектированием.
Релиз Unity 2023.2 Tech Stream
В свежей версии 2023.2 TS появилось несколько кроссплатформенных улучшений. Поработали над производительностью (в особенности — над тормозами освещения на мобилках). Нарисовали более красивые атмосферные эффекты для HDRP. Продумали использование VFX Graph. Проапгрейдили UI Toolit, починили баги для VR. Вернулись к понятной схеме названия версий: Не Unity 1234.5 XYZ, а просто Unity 6.
Всё вместе, это позволит поднять реализм и удобство на новый уровень, и заставит разработчиков рвать на себе рубашку за Unity в патриотическом экстазе... или такова легенда. Давайте разберемся.
Истории
Как бизнесу сэкономить почти 100 000 ₽ на создании сайта. И при чём здесь нейросети
Столкнулся с багом «шести пальцев», нашёл общий язык с Midjourney и сократил с его помощью стоимость сайта. А также сравнил, сколько ресурса на эти же задачи потребовалось бы у иллюстратора.
Как работать с нейросетью Midjourney, чтобы получать желаемый результат
Привет, Хабр! Меня зовут Алина, я дизайнер в Friflex. Отвечаю за красоту мобильных и веб-интерфейсов и делаю иллюстрации для медиаканалов компании.
Midjourney — одна из самых известных моделей искусственного интеллекта в области создания изображений. С её помощью можно создавать уникальный графический дизайн, визуальный контент, а также оптимизировать рутинные задачи: собирать референсы, разрабатывать концепции, стилизовать картинки и многое другое. Для веб-приложений Midjourney особенно полезна на ранних стадиях процесса проектирования: можно сравнивать различные стили, создавать мудборды и определять направление дизайна.
Вместе с коллегами мы собрали лучшие примеры, которые помогут получить качественный результат в работе с Midjourney.
Price.ru: в 2023 году в 8 раз вырос спрос на нейросети для решения задач в дизайне
Price.ru проанализировал интерес к нейросетям, которые применяют дизайнеры, сравнив интернет-спрос в январе-сентябре 2022 и текущего года. Так, выяснилось, что год к году в целом он вырос в 8 раз, а самой популярной ожидаемо оказалась нейронная сеть ChatGPT. Рассказываем подробнее.
ChatGPT не только решает задачи с написанием текстов и их структурированием, но и создает изображения из текстовых запросов. Активно пользоваться нейросетью начали с января 2023 года, поэтому сейчас виден невероятный рост к прошлому году – на 106433075%. За период январь-сентябрь 2023 года в поисковых системах было более 1 000 000 запросов на эту тему.
На втором месте по абсолютным показателям остается Midjourney (+2937%) - нейросеть, которая создаёт изображения по описанию.
«Midjourney – по-прежнему один из лучших инструментов для создания изображений, который дает наиболее качественные результаты. Единственный минус - довольно высокая стоимость подписки, а тестовая и базовая недостаточны даже для исследования основного функционала нейросети», - Полина Скрипникова, коммуникационный дизайнер Price.ru.
«Галоп пикселя — часть шестая» — Анимация персонажей. Бег
«Галоп пикселя», часть I — базовые понятия, этапы взросления, прикладные упражнения (линк)
«Галоп пикселя», часть II — перспектива, цвет, анатомия и прикладные упражнения (линк)
«Галоп пикселя», часть III — Анимация (линк)
«Галоп пикселя», часть IV — Анимация света и тени (линк)
«Галоп пикселя», часть V — Анимация персонажей. Ходьба (линк)
«Галоп пикселя», часть VI — Анимация персонажей. Бег (линк)
Доброго времени суток, Хабр. Мы продолжаем цикл «Галоп Пикселя». И хотя паузы между главами этой саги достигли практически четырехлетнего перерыва — я рад (надеюсь и вы тоже) продолжить двигаться вперёд. Миля за милей, дорога за дорогой, в этой вечной былине о пиксель-арте. Пространном повествовании о пикселях, их жизни, способе их создания, приёмах и уловках в работе с ними.
На этот раз речь пойдёт о создании анимации бега, от истоков малых кадрами и цветами — к ренессансу больших разрешений и буйству цветов. В статье будут разобраны примеры самых разных типов анимаций, будет определена разница между шагом и бегом. Мы затронем как создание игровых ассетов, так и сущности близкие к анимационным заставкам, в простонародье известные как синематики.
Сегодняшняя публикация станет ещё одной вехой, которая могла бы стать финальным аккордом в нашей истории. Но мне думается, что это… скорее окончание базового цикла, но не истории в целом, которую можно продолжать ещё долго. Существует масса неисследованных территорий, нехоженых дорог и мест, куда ещё не ступала нога пытливых археологов от мира любителей пиксель-арта. Лопаты в руки, друзья. Лопаты в руки.
Fooocus v2 — бесплатный Midjourney у вас на компьютере. Подробная инструкция по установке и использованию нейросети
Друзья, всем привет! Сегодня я хочу рассказать вам про самую простую и доступную для понимания нейросеть, которая создает изображения по вашему текстовому описанию. Она называется Fooocus и основана на знаменитой Stable Diffusion XL. Это идеальное решение в качестве вашей первой нейросети, и необходимый инструмент для любого дизайнера или контент мейкера.
Внутри много тяжелых изображений.
Предел мастерства
Нашла у Сергея Абдульманова (Milfgard) пост 4 крутые штуки про разработку игр. В посте ссылки на 4 перевода из блога геймдизайнера Тайнана Сильвестра, создателя игры «RimWorld». Но ссылки мертвые. С разрешения автора публикую переводы из архива.
Пост ниже из далекого 2009, а тема все еще актуальна — как повысить реиграбельность своей игры. Суть поста в двух предложениях:
Реиграбельность коррелирует с количеством часов, за которые игрок обучается «идеально» играть в эту игру. Тайнан Сильвестр размышляет о двух способах повышения реиграбельности: через реакцию (как в шутерах) и через стратегию (как в Го).
Я веду ламповый Telegram-канал GameDevils. Заглядывайте в гости, я делюсь там материалами про геймдизайн, разработку и историю игр ^__^
Интеграция UX опросов в процесс разработки продукта
Улучшение и оптимизация UI/UX – это не только об удобстве и привлекательности для пользователя. Это также о значительном увеличении конкурентоспособности и о возврате инвестиций. Компании, которые вкладывают в разработку качественного пользовательского интерфейса и опыта, как правило, видят значительный рост продаж и улучшение общего взаимодействия с клиентами.
В этой статье мы подробно разберем, как интеграция UX-опросов в процесс разработки продукта может стать ключевым фактором успеха вашего бизнеса. Поговорим о различных методиках, инструментах и наилучших практиках, которые помогут вам не только понять, но и улучшить опыт ваших пользователей.
Road Run, или как я свою первую игру делал. Часть 3
Вторая часть была о том, как быстро создавать текстуры для окружающей игрока обстановки, не имея при этом навыков в изобразительном искусстве. В этой части уместно будет поведать о премудростях создания трёхмерных моделей.
Машиносоциальная инженерия — как мы воспринимаем девайсы (спойлер: как людей) и что заставляет нас им доверять
Привет! Меня зовут Иван Савчук, я менеджер по развитию в стартапе АТОМ. Департамент, в котором я работаю, занимается дизайном опыта взаимодействия человека с автомобилем, иначе говоря – проектированием Human-Machine Experience. Сегодня я хочу рассказать о том, какие сведения о доверии людей к технологиям мы используем в нашей работе.
Жизнь меняется. Автомобили тоже
Управление автомобилем все еще остается большой работой, требующей значительных затрат времени и сил. Внимание человека за рулем приковано к происходящему на дороге и к поведению автомобиля. К тому же водителю необходимо оценивать свое собственное состояние и возможность реагировать на изменения ситуации.
Жизнь людей изменилась. Привычки, развлечения, работа и даже способ выражения эмоций удобно управляются компактными и доступными гаджетами. То же самое вскоре произойдет и с автомобилями. Они перестанут быть обычными средствами передвижения или крутыми дорогими аксессуарами и превратятся в умных и кастомизируемых помощников водителя и пассажира. А в какой-то момент вообще возьмут на себя всю работу, позволяя человеку на левом переднем сидении отдыхать во время движения так же, как и остальным пассажирам.
Мы хотим создать новый опыт вождения, который будет отражать современный образ жизни и позволит людям сохранять настроение и энергию для других дел.
Очевидным решением выступает применение автопилота. Но высокие уровни автоматизации автомобиля пока недостаточно распространены и ограничены нормативно. Поэтому нужно построить «мост» от систем помощи водителю к полной автономности, когда можно будет полностью довериться автопилоту.
Ближайшие события
Как мы перешли на кроссплатформенность в середине проекта и успели в срок
Всем привет! Если вы пользуетесь СберМаркетом, то могли заметить, что теперь мы доставляем еще и из ресторанов. Мы смогли запустить сервис доставки всего за полгода, но это был немного безумный проект, который мы делали в условиях первого правила бойцовского клуба. Теперь, когда все выдохнули, мы наконец-то можем рассказать, как это было.
Мы — это ведущий дизайнер СберМаркета Настя Винокурова, продуктовый дизайнер Катя Вороненко и вся наша команда. Если кратко, это было так:
Хочешь сделать интересного монстра, думай как монстр
Почему с некоторыми монстрами интересно играть? Графика тут конечно играет определенную роль вначале, красивая картинка радует глаз, а музыка берет за душу. Но если враг тупит, если поведение читается на раз-два, то внимание игрока начинает подмечать ошибки в целом, быстро разрушая общее впечатление, даже графоний не поможет, так устроено внимание человека. Среднее время удержания внимания на элементе игровой механике или поведении составляет не больше пяти минут. Дизайнеры игр об этом знают и стараются в пределах этого времени переключать внимание игрока на что-то другое. Вернемся к AI монстров, это же правило действует и здесь, если в течение пяти минут, NPC не показывает новых приемов в бою или поведении, то игроки считают его "тупым", много тупых и однотипных в поведении монстров вызывают только раздражение. Можно много говорить о быстром развитие ИИ общего назначения, увидеть его применение в играх, выходящим за рамки общения и диалогов вряд-ли получится в этом десятилетии. Поэтому нам остается применять проверенные временем поведенческие деревья (BT, Behavior Tree, GOAP), но тем не менее очень мощные и нейронную сеть общего назначения на печеньках и кофе.
BASHUI
BASHUI - это BASH + UI, а не то что вы подумали.
Начиная работать над sshto я решил не переизобретать велосипед, вернее не переизобретать велосипед целиком а только некоторые его части и в качестве "рамы с педалями" использовал dialog. Это значительно ускорило разработку, но идея написать свой UI на баше с блекджеком и всем остальным ни на секунду не покидала мой воспалённый мозг. Звёзды сошлись, и я решил воплотить этот проект в жизнь(в bash). Втречайте BASHUI!
Как мы в SM Lab локализацией занимаемся
Всем привет! Мы (Никита Звонилкин и Дмитрий Ёжиков) работаем в отделе локализации в SM Lab. Мы провели презентацию по теме интеграции локализации в процесс тестирования ПО на конференции SQA Days. Для этой статьи мы адаптировали эту презентацию, чтобы показать, чем локализация отличается от перевода. А ещё расскажем про основные этапы локализации, поговорим о подборе команды для проведения тестирования и о полезном софте.
Немного цифр. Спортмастер — большая компания, торговые сети представлены в 6 разных странах, а в 11 есть дополнительные офисы, в которых работают более 45 000 сотрудников. SM Lab — отдельно IT-подразделение, которое занимается разработкой софта и, собственно, его локализацией для стран нашего присутствия.
Тонкости локализации
Локализация это не просто перевод, но и адаптация текста и содержания под культуру конкретной страны, ее стандарты и менталитет. В локализации важно не только хорошо перевести текст но и донести культурный код, который может выражаться как в изображениях, так и во всяких смайлах, эмоджи, жестах, символах и так далее.
Например, белый цвет, который в принципе везде считается нейтральным, в Японии могут расценить как траурный, так что не всегда будет уместно его использовать. В разных странах по-разному могут воспринимать ещё и жесты с символами, которые вам кажутся привычными и стандартными. Скажем, значок мира, который у нас так и воспринимается, в Великобритании лучше не показывать, он считается оскорбительным жестом. Большой палец вверх тоже у нас считается вполне себе адекватным, а вот жестовое обозначение “ОК” в той же Бразилии расценивается совсем иначе.
Если кто-то смотрел фильм Квентина Тарантино «Бесславные ублюдки», то вы явно помните сцену, в которой офицер под прикрытием (персонаж Майкла Фассбендера) заказывает жестом три пива, чем и выдает себя.
Немодерируемые UX-тесты: 6 советов, как избежать факапов
UX-исследования могут проводиться при участии модератора, который даёт респонденту задания, либо без него — с помощью различных специальных платформ. Исследования второго типа называются немодерируемыми.
Для UX-дизайнера плюсы немодерируемых тестов очевидны. Это быстрый — результаты можно получить за считанные часы, — недорогой и легко масштабируемый способ проверить решения. При этом у него есть существенный минус: невозможность скорректировать что-либо в процессе. К примеру, если мы узнаём об ошибках в ходе модерируемого исследования, то можем поправить гайд и быстро взять правильный курс. Немодерируемые тесты обладают меньшей гибкостью: как правило, если мы ошиблись в начале, то и результат будет некорректным. Именно поэтому к проведению таких тестов стоит относиться с особым вниманием, тщательно прорабатывая их содержание.
Ниже рассказываем о том, как минимизировать проблемы при проведении немодерируемых тестов, на примерах из рабочей практики.
13 классных телеграм-каналов о создании игр
Привет! Давно не делал подобную подборку — пора исправляться. Среди каналов есть как мои собственные, так и хороших знакомых, которых я давно читаю. Почти все ребята работают в геймдеве.
Станция Миди и голосовое управление Zigbee-устройствами без интернета. История разработки
Недавно мы представили нашу новую умную колонку — Яндекс Станцию Миди. Она больше, чем Лайт или Мини, поэтому в ней уместились вуфер и два высокочастотных динамика с суммарной мощностью звука 24 Вт. Но при этом она легче и компактнее, чем Станция 2 или Макс. Кроме того, в Миди мы внедрили технологии, которые позволили Алисе научиться новому. В частности, благодаря более современному процессору и бо́льшему объёму оперативной памяти, Алиса в Станции Миди впервые стала понимать и выполнять голосовые команды умного дома локально, без интернета.
Сегодня коротко расскажем, какие задачи пришлось решить команде Алисы и умных устройств, чтобы у пользователей появилась возможность управлять Zigbee-совместимыми устройствами с помощью голоса и не зависеть при этом от удалённого сервера или провайдера.
Что важно: это полезно не только при проблемах со связью. Теперь Zigbee-устройства будут реагировать на команды быстрее даже при наличии хорошего интернета (чуть подробнее — в блоке про замеры скорости в конце поста).
Про локальный умный дом мы впервые заговорили весной этого года. Возможно, вы даже читали на Хабре статью о том, как мы научили наши колонки со встроенным Zigbee-модулем хранить и выполнять сценарии умного дома напрямую, без посредника в виде сервера. Но были ограничения: это работало только для тех сценариев, которые запускались по кнопке или таймеру. Потому что работа с голосовыми командами была доступна только через наше облако. Слишком уж тяжеловесной была это задача для железа.