在WWDC 20全球开发者大会上,苹果除了对五大系统平台进行了升级外,AirPods Pro也引入了一项新功能——空间音频,同时还支持苹果设备之间的无缝切换。


AirPods Pro可以在不同苹果设备之间进行无缝切换,这个功能没啥好讲的,主要是传输协议的问题,这里我们将重点放在空间音频这项技术上。


截屏2020-06-28 上午9.50.13.png


AirPods Pro的空间音频是什么鬼?


首先,我们先要了解什么是空间音频?空间音频也称为环绕音频,这项技术其实已经发展了多年,大到影剧院剧场,小到自家客厅,都有它的身影。此次苹果在AirPods Pro中加入了空间音频功能,其原理是通过定向音频过滤器,对双耳耳廓的声场进行检测。


因为每个人的耳廓形状都有所不同,声波通过TWS传到双耳时,会被不同形状的耳廓回弹形成不同的回响共振,同时过滤掉某些声音。


苹果在iOS 14中加入了新的算法,可以实现对每只耳朵所接受的频率进行微调,以此来呈现出全场景的虚拟声场和环绕音效果。


截屏2020-06-28 上午9.52.35.png


按照苹果官方的说法,AirPods Pro的空间音频支持5.1声道和7.1声道,以及杜比全景声。5.1声道指的是左主声道、中置声道、右主声道、左环绕声道、右环绕声道,外加一个低音声道。相比5.1声道,7.1声道多了两个环绕声道。以上这些声道均支持空间音频。


想要实现真正的环绕声,单靠算法和声源是不够的,还需要考虑耳机与固定声源之间的差异性。因为当你在体验环境声时,声源是固定的,随着你位置的变化,人耳所听到环境声也是不一样的。


因此,苹果通过AirPods Pro内置的加速传感器和陀螺仪,对佩戴者的头部进行实时追踪。当头部移动时,可以对数据进行重新计算,以便佩戴者听到的环境音效与最初的效果一致。


截屏2020-06-28 上午9.52.50.png


值得一提的是,除了可以对佩戴者的头部实时追踪外,AirPods Pro的传感器还能够追踪头部和设备之间的运动数据,并且支持数据对比,以确保用户在乘坐地铁或公交遭遇到紧急刹车的状况时,环绕音效不会中断。


1.gif


环绕音频索尼也在做!


其实,苹果不是第一家将空间音频技术引入耳机的科技公司。去年CES 2019展会上,索尼就展示了基于空间音频技术打造的360 Reality Audio空间声学音频格式。


360 Reality Audio通过在人耳里创建多个虚拟扬声器,营造了一个环形声场,让佩戴者可以沉浸在音乐的世界,仿佛亲临现场,可以感受到各种声源的方位、距离、角度,从而使得声音变得更加饱满和立体。


rSNyiSNgcbzgJC2DcWjcQH.jpg


随后,在IFA 2019展会上,索尼打通了两款App对360 Reality Audio的支持,分别是Sony Headphones Connect和索尼精选Hi-Res音乐。


索尼官方页面显示,如果你想要体验360 Reality Audio,就必须下载Sony Headphones Connect App,当耳机与手机的蓝牙连接成功后,该App会拍摄人耳的照片并进行分析,然而系统会自动提供适合佩戴者的最佳音域。


其次是下载和注册索尼精选Hi-Res音乐,App首页有360 Reality Audio的分区。需要注意的是,该分区只有4首免费试听360 Reality Audio的曲目,用户想要听到更多则需升级至Plus会员。


maxresdefault.jpg


就目前来看,索尼和苹果实现空间音频的思路完全不一样,前者是做了一个新的音频格式,后者只是将现有的技术引入到AirPods。现在还不清楚苹果是否会像索尼那样,推出类似的空间音频音乐服务,与索尼相比,苹果获取空间音频聆听体验的门槛要更低,毕竟AirPods Pro支持的是5.1和7.1声道,而非新的音频格式。


此外,虽然索尼的360 Reality Audio很黑科技,但是并没有做到像AirPods Pro那样在头部移动下的环绕声定位。


苹果很难打破空间音频技术的天花板


尽管空间音频不是什么新技术,但是苹果却让我们明白了原来TWS耳机也可以获得更加真实的聆听体验。


不过有一说一,AirPods Pro引入空间音频技术,苹果或许可以做到业内顶尖水准,但很难打破现有消费类耳机虚拟声场技术的瓶颈。原因很简单,AirPods Pro的硬件还不够强大。


在解释原因之前,我们需要先了解两个基本概念。


1.什么是声源定位?



我们平时说的“声场”是人们对声音空间感知的集合,包括宽度、纵深感、空间感、方向感和包围感。而这些指标基本上都涵盖在心理声学的概念中。


现实生活中,我们听到的声音是存在距离和方向的,同时声源本身也存在一定的宽度。这些因素组合在一起便是我们听到的声源定位。


Detection-of-sound-source-localization-schema-used-to-calculate-Interaural-Time.png


2.现实生活中有哪些影响声源定位的因素?


以架子鼓为例,当鼓手敲击鼓时,鼓会发出的声音会向四周均匀传播,但最先到达人耳的声音是由鼓到人耳的直线距离,因为两点之间直线最短。这种现象在声学中被称为直达声。


与此同时,其他方向传播的声音会经过一次反射后陆续达到人耳,这些声音的总和被称为早期反射声。不过,也有很多声音会经过多次反射才会传到人耳,这类声音的总和则被称为混响,而早期反射声和混响的总和统称为反射声。


简单点来讲,人们的听觉系统可以感知空间的大小,这种感知能力取决于反射声。而我们之所以能够通过耳朵来辨别声音的方向,除了分别传入我们左右耳的直达声的强度和时间差外,还与直达声入射角度和早期反射声的入射角度有关,也就是所谓的耳廓效应。


当人们的头部的位置发生变化时,人耳所接受到的声音就又不一样了。基于人耳的听觉特性,耳机虚拟声场不仅需要模拟左右耳的声音差异,还有模拟反射声和反射声在左右耳的差异,同时做到实时跟踪头部位置并计算。


截屏2020-06-28 上午9.53.03.png


AirPods Pro虽然配备了陀螺仪和加速传感器,以此来实时跟踪头部并对获得的数据进行计算,但是实际效果还有待验证,因为它并没有捕捉具体听音者HRTF(头相关变换函数)的传感器。


另外,现实生活中反射声存在无数路径和可能性,同时每一条反射声还要结合人头部的实时位置和角度进行计算,这一过程的复杂程度可想而知,计算量肯定是非常庞大的,而且计算量会随着精度呈几何级增长。


这就好比英伟达在2018年发布的光线追踪技术一样,该技术需要很强大的算力,除RTX20系列显卡外,其他显卡几乎全部阵亡,而且首批支持光追的游戏表现也不是太好,未达到预期效果,理想和现实存在一定的差距。


截屏2020-06-28 下午4.01.58.png


说白了,AirPods Pro本身的芯片算力,想要真正模拟现实生活中的反射声可能只是杯水车薪,就算是iPhone的A13芯片也不一定能担此重任。


因此,AirPods Pro的空间音频想要打破技术瓶颈,难度确实不小。


总结


空间音频的应用场景还是挺广泛的,例如VR领域,在2016年的Google I/O大会上,Google VR团队发布了支持空间音频的VR SDK,同时分享了如何打造一款VR全景声。此次AirPods Pro上引入空间音频技术,是否可以理解为苹果在为Apple AR/VR混合眼镜铺路呢?


AI算法+传感器技术,AirPdos Pro可以解锁更多的新功能和交互体验,空间音频或许只是一个开端,下一代AirPods可能会有更多惊喜。据外媒DigiTimes报道,苹果正在考虑为新一代AirPods Pro带来重大升级,比如在未来1-2年内集成光传感器,并加入一些健康检测功能。


总的来说,苹果通过引入现有的技术,让我们看到了AirPods Pro更多的可能性,同时挑起了用户对下一代AirPods Pro的兴趣,真可谓是“一箭双雕”了吧。

雷科技