Исследовательский проект New Reality Labs демонстрирует потрясающие возможности дополненной реальности.

Проект от исследователей в Reality Labs, подразделении Meta’s XR, демонстрирует метод взаимодействия с реальным миром через дополненную реальность.

Я считаю себя искушенным специалистом в области XR. Я все время наталкиваюсь на интересные научные работы, но, в конечном счете, они лишь еще один шаг по предсказуемому пути. Редко случается так, что я наталкиваюсь на что-то, о чем даже не задумывался. Но этот новый исследовательский проект Reality Labs именно таким является.

На самом деле, его довольно сложно объяснить. Исследователи из Meta Reality Labs Research и университета Дуйсбург-Эссен разработали метод, который позволяет делать реальные объекты виртуальными, чтобы с ними можно было взаимодействовать в режиме реального времени. Они не только цифровизируют объекты, но также бесшовно удаляют их реальные аналоги, создавая непостижимое смешение реального и виртуального миров. Видео ниже с примерами лучше объясняет это, чем могу я словами:

В своей статье исследователи - Мохамед Кари, Райнхард Шютте и Радж Содхи - называют эту концепцию "Отзывчивость сцены" и опубликовали ее в прошлом году на Симпозиуме ACM по программному обеспечению пользовательского интерфейса и технологии.

Как это объясняют авторы, данный метод создает "визуальную иллюзию того, что виртуальные действия влияют на физическую сцену".

Что делает это таким интересным? Мы все видели демонстрации дополненной реальности, где виртуальные объекты кажутся парящими в вашей комнате, прикрепленными к вашим стенам или даже проходящими "за" объектами. И мы видели виртуальные объекты, которые кажутся соответствующими физике комнаты, когда они катятся по столу и правильно падают, когда достигают края.

Но возможность цифровизации реальных объектов в пространстве и предоставление пользователю виртуального контроля над ними, при этом удаляя реальные объекты с их исходных мест - это действительно интересный трюк. Возможно, еще более впечатляющим становится момент, когда виртуальные персонажи на сцене кажется, что непосредственно взаимодействуют с объектами в реальном мире.

Мне очень нравится, что авторы пошли дальше и показали, как предотвратить нарушение иллюзии.

Предоставление пользователю контроля над (видимо "реальным") виртуализированным объектом, но не позволяя им подойти достаточно близко, чтобы фактически коснуться объекта, означает, что ожидание тактильной обратной связи не может быть потеряно. Еще одной умной деталью является предотвращение столкновения пользователей с вещами, которые были стерты из сцены, делая их видимыми только в случае слишком близкого приближения.

То, что показано в работе, визуально несовершенно и в основном является доказательством концепции, требующей множества ручной и специфической для сцены работы для реализации. Но с быстрым развитием компьютерного зрения и искусственного интеллекта несложно представить, как такая система может быть построена автоматическим и независимым от сцены способом и как она может быть очень убедительной.

Авторы предлагают неожиданно творческие идеи о практических приложениях этого типа ар-иллюзии, включая "в области здоровья, мы представляем, что, когда пользователь протягивает руку к нездоровому шоколадному батончику, он превращается в нечто менее привлекательное, например, в паука. Или шоколадный батончик получает ноги, убегает, превращается в банан во время бега и физически появляется на месте физического банана."

Так что, если в будущем мы окажемся в погоне за волшебным шоколадным батончиком, чтобы обнаружить, что он превратился в банан, когда мы его достигли, мы будем знать, кого винить.

Оригинальная статья: New Reality Labs Research Project Demonstrates Mind-bending AR Capabilities Опубликовано на Road to VR.

Tweet