声音在VR / AR

本周的活动都是为了帮助我们考虑的关键作用,未来的机器人和虚拟现实等技术将在所有我们的生活。

我们已经发现下一代的医学和医疗将由虚拟和增强现实(VR / AR)应用程序。现在让我们考虑的另一个关键方面任何VR / AR -环境声音!

没有良好的虚拟环境是完全不现实的(甚至比看电视声音关掉,当你使用电影环绕立体声效果)。正确的声音在VR意味着用户会感觉完全沉浸在虚拟环境中。确保完全沉浸在虚拟现实系统中,空间的声音需要匹配的空间特征的视觉效果,所以如果你看到一辆车远离你在虚拟现实环境中,你也会希望听到汽车远离你。如果没有,在虚拟现实的整体印象是立即消失。

重建一个身临其境的声场的方法之一是使用大量的喇叭放置在侦听器的头。在前一步骤我们看到一系列大型的50个喇叭(如我们在纽约的大学AudioLab)可以用来复制复杂的声音场景和声音来源坐落在侦听器。重新创建一个良好的场景在多个喇叭是通过扩展技术用于立体声录音和回放。

立体声

如果我们有两个喇叭(立体声),我们可以在任何地方移动声源的位置感知沿水平面之间的两个喇叭。我们可以“锅”声音通过增加左边的振幅水平左扬声器和降低对扬声器的振幅。

图1:向左平移声音通过增加左喇叭的振幅。

如果声音是在相同的振幅水平通过喇叭好像将听到来自直接在两者之间。

图2:向左平移声音通过增加左喇叭的振幅。

这种技术之间的振幅平移移动声源的喇叭可以扩大和跨多个数组喇叭使用复制三维环绕音效。

当然,没有多少人可以访问大量的喇叭安排在一个球体可以产生包络环绕音效。大多数虚拟现实/ AR系统专为个人/家庭使用依赖于耳机向用户提供环绕立体声。

那么,我们如何提供360度身临其境的声音在一副耳机的场景?

空间的声音

先闭上你的眼睛,仔细倾听你周围的声音。(如果你在某个地方很安静,那么你可能会想尝试这个练习的地方更多的噪音。)你能听到什么?这些声音来自哪里?在你的面前你能听到什么?你能听到你后面吗?上面的你,下面的你,还是每一方?试着转动你的头,声音变化吗?

即使闭上眼睛,听证制度很好发展,允许我们在周围空间定位的声音——我们称之为声音本地化。但它是如何工作的呢?

本土化的声音在太空我们依靠“双耳线索”。我们的大脑需要“线索”,信息水平,时机和整体基调的声音到达我们的左耳,并比较它与声音到达右耳。差异的每只耳朵上听起来帮助我们解决声音放置的位置相对于自己的位置。

在你的耳朵如何改变声音吗我们发现声音是如何过滤外耳,主要是耳廓。思考一个声音右手边,略高于你的头。从这个声音到达你的耳朵的声波直接访问你的右耳,但不得不周游你的头到你的左耳。你的头的形状实际上过滤器的声音,这意味着一些频率抑制整体基调是改变——这些是光谱信号。

有两个类型的双耳线索你的大脑可以使用:

• 耳间水平差异(ILD)——在我们的示例中声音进一步旅行到你的左耳,所以它是安静的,因为它是在路上丢失了更多的能量
• 双耳时间差(ITD)——在我们的示例中声音到达你的耳朵之前不到一毫秒它到达你的左耳。

图3:插图的时间和水平差异在每个耳朵

所有这些双耳本地化线索可以通过测量捕获一头相关传递函数(电火花冲激)。我们可以将这电火花冲激与原始声源给听众的印象的声音放置在周围的空间。我们需要使用两个头——一对双耳——一个用于正确的耳朵和一个用于左耳或幻觉是行不通的。

试试我们的立体声耳机

为了说明这一点,试着听听这些音频剪辑(确保你正在使用合理的高质量的耳机,你让他们在正确的方式)

第一次听这个声音:摇动的声音,你的右手边。

在第一个音频剪辑你可以听到的声音种子瓶与相关的混合头使它听起来好像是你权利和略高于。

一听这声音:下面摇动的声音,你的左手边。

音频剪辑,种子瓶混合不同的头,让它听起来像你的左边,略低于你的肩膀。

和我们最后的片段:瓶声音移动你的头。

这里,我们已经改变了在声音,这样种子瓶头似乎移动从右上方到左下角的头来说明如何使用双声道的音频声音在侦听器。

这些声音移动你的头吗?它为你工作吗?

如果不是,那可能是你的头是完全不同的形状和大小的“平均”头,用于生产我们这里使用的头。(我们使用的头都是免费的医学物理学和声学Carl-von-Ossietzky大学德国奥尔登堡)

图4:一个小样本的很多不同形状的侦听器的脑袋

照片显示只是一个小样本的一些不同的头,我们已经扫描的约克大学AudioLab。你可以想象有很大的不同的生理侦听器的脑袋。在不久的将来可以有自己的头部扫描,和你自己的个人的电火花冲激走开,也就是说,双耳环绕声会工作得很好你在VR / AR系统。

了解更多

尝试看和听这些双声道的音频技术用于重新创建你可能听到的声音如果你去理发店理发

找到更多关于如何进一步开发的双耳的声音剪辑从BBC英国广播公司(BBC)的研究人员点击计划

试试我们的VR唱歌的经历从座位上唱歌由研究人员开发的约克大学AudioLab。玩得开心!

交给你了

我们很想听到更多关于你的思想空间的声音,请在下面评论在回答这些问题:

• 双耳的声音文件在本文中为你工作吗?

• 当技术可用,你会希望有自己的个性化电火花冲激吗?

• 你认为可能是使用空间的优点或缺点声音在电影、视频游戏或者其他的经历吗?