В то время, как новое поколение шлемов виртуальной реальности готово появиться на рынке, исследователи из Microsoft придумали, что может быть идеальным дополнением для них - система, которая позволит простым наушникам, создать реалистичную иллюзию звука, исходящего из определенного места в 3D пространстве виртуального окружения.
В сочетании с таким устройством виртуальной реальности как Oculus Rift, новая звуковая система позволит объектам или персонажам в виртуальном мире не только выглядеть но и звучать, как будто они находятся в определенной точке окружающего виртуального пространстве, даже если эта точка находится вне поля зрения человека.
Во время демонстрации технологии в Silicon Valley Lab компании Microsoft, вы надеваете пару беспроводных наушников и ближайшие к вам объекты неожиданно оживают. Из картонной модели портативной рации, начинает доноситься голос. Из муляжа акустической Hi-Fi системы начинает звучать музыка. Чучело птицы высоко над землей, издает реалистичные щебет. По мере того, как вы начинаете двигаться - направление звуков изменяется, что позволяет не прерываться иллюзии, ощущения реалистичности звукового окружения.
Это стало возможным, благодаря предварительно созданной 3D модели головы и плеч пользователя с помощью сенсора «Kinect 3D». Программа, смоделировала 3D образ, а затем использовала эту модель, для вычисления персонального фильтра, который позволил создать звуковую иллюзию.
Как рассказал Иван Ташев, исследователь в Redmond labs Microsoft, работающий над проектом с коллегой Дэвидом Джонстоном — «После того, как этот фильтр был создан, он может быть использован с различными устройствами, программами или виртуальной и дополненной реальностью (augmented reality).»
Для правильного функционирования, система также нуждается в данных о положении наушников, когда человек поворачивает голову, которые предоставляют датчики движения и камеры . Тем не менее, тот вид датчиков движения, который используется в современных шлемах виртуальной реальности на подобии Oculus Rift — позволяет, получить достаточное количество необходимой информации.
Известно, что уникальная форма и положение ушей человека, а так же анатомия головы, изменяют то, как звук достигает ушного канала у каждого человека — этот процесс, называется «head related transfer function» или в скоращении HRTF, что в переводе означает «функция передачи, учитывающая строение головы».
Система запрограммированная с описанием этих параметров, может создать для человека иллюзию восприятия звука, исходящего из определенного места.
"...Система запрограммированная с описанием этих параметров, может создать для человека иллюзию восприятия звука, исходящего из определенного места." - дополненная реальность, не?
"...Система запрограммированная с описанием этих параметров, может создать для человека иллюзию восприятия звука, исходящего из определенного места." - дополненная реальность, не?
В том числе. Тут имеется в виду, что источник не будет меняться просто между правым и левым ухом, а будет неизменно оставаться в одном месте в виртуальном 3d окружении - с учётом высоты, удаленности, отражения звука и тд.