作者：Jon Gabay

引言

世界是不断变化的。这种不断发展的状态，意味着我们与世界、设备和他人互动的方式也在发生变化。支配这种变化的，除了获取利润外，还存在两种重要的力量：其一，是技术的发展，它推动着我们不断开拓创新，带来了各种当今习以为常的设备和应用程序；其二，则是在新冠疫情的推动下，人们对身体健康的关注度变得更高。

当人们拥有更多时间用来娱乐，沉浸式技术便迎来了发展机遇。现在，消费者可以购买到多家制造商推出的虚拟现实和增强现实头显设备，业余开发者和专业人员也可以借助开发工具来渲染虚拟世界和场景。这些显示技术正不时地见诸媒体头条，与此同时相应的音频技术也没被落下。

在公认的五大感知中，声音也许是人们最先感受到的。不论是大自然的丰富、管弦乐的浑厚，还是灵歌的激荡，声音和其他任何感知一样，都会对我们的情感和生理产生深远的影响。

发展历程

我们之所以能繁衍至今，很大程度上离不开我们专注于倾听的能力。例如，我们的祖先在狩猎时，会通过声音来追踪和寻找食物，维持家族或村庄的生计。借助声音，他们能够以一种3D沉浸式的方式来定位潜在的致命因素，从而避开捕食者。我们只要听到声音，就可以感知到它在哪个方向、距离我们多远，以及它正以怎样的速度靠近。

沉浸式音频是一种高科技音频处理和音响技术，它的实现离不开高质量的音频处理，以及一系列经过精心设计、校准和布置的高、中、低音扬声器单元，这样才能提供动态的全频谱听觉感受。

虽然以往的普通发烧友并不追求这样的配置，但电影院和各种表演场所多年来一直在运用这项技术。就像所有的开创性技术一样，它最终会找到自己的方式来惠及其他领域。

现代娱乐系统会采用许多专门的过滤器和动态处理，创造出能让更多人负担得起的方案。如今，家庭影院的普及度已经站上新高，新冠疫情的横行进一步推动了这种趋势。在遍地开花的游戏装备和家庭影院中，沉浸式音频是一种顺理成章的需求。

虽然立体声可以实现基础的环绕声能力，但杜比数字5.1 (Dolby Digital 5.1) 技术才是当今应用最广泛的环绕声和3D音频方案。此类系统包括杜比数字、杜比定向逻辑II (Dolby Pro Logic II)、DTS、SDDS和THX等技术，它们都采用围绕听众布置的六扬声器配置（五个全带宽声道、一个重低音扬声器）（图1）。这些环绕声技术首先在电影院中得到应用，这推动了它们实现进一步发展，并将成本降低到大众可以接受的程度。

图1：5.1环绕声使用五个放置在特定位置的全频扬声器和一个重低音扬声器。音频处理工程师可以通过混音，让听众感觉到声音似乎在他们周围移动。重低音扬声器通常可以放在任意位置。（图源：Zern Liew/Shutterstock.com）

在这样的系统中，多个扬声器都由独立的音频流驱动，让听众可以感受到虚拟的声音环绕在自己周围。其中，左后和右后声道负责空间深度；左前、右前和前中置声道负责横向深度；重低音扬声器负责整个空间的低频声音。

对于处在收听区域（也就是沙发）中央的单个听众而言，这样的配置是理想的。在多人收听的情况下，不同位置的听众体验上会有细微差异，但总体而言是相对一致的，每个人都可以感受到声音的移动。现在，已经有一些录音师在新唱片中提供了5.1环绕声音轨，并以“沉浸式”来进行宣传。

一个有趣的事实是，前中置声道针对语音范围的声音进行了优化，这有助于听众在沉浸于3D音效的同时依然能够分辨人物对话。在丰富、浑厚的声音越来越受追捧的情况下，分辨人声会变得更加困难。通过中置声道的过滤和放大，听众便更容易听清人物对话。

在5.1环绕声基础上，如果取消左后和右后声道，改为左环绕、右环绕和后中置声道，便可升级为6.1环绕声（图2）；如果在6.1环绕声基础上取消后中置声道，改为左后和右后声道，则成为7.1环绕声（图3）。

图2：6.1环绕声在左右两侧配备了扬声器，当音频对象从前面移向侧面或背后时可增强移动音效。重低音扬声器依然可以随意放置，这里也不讨论有关低音的话题。（图源：Zern Liew/Shutterstock.com）

7.1环绕声技术增加了更多扬声器和独立声道，因而可以构建出2.5D的立方体或多边形声场，在重要位置配备更多高、中、低音单元，使听众沉浸到2D和有限的3D音频中（图3）。对于声音从听众正上方或正下方发出的音效，一定程度上可以通过信号处理来近似地实现，但并不能达到比较完美的效果，除非在上方或下方确实有扬声器。

图3：以较小角度放置更多扬声器，有助于消除可能出现的音频热点，尤其是在音轨没有正确地进行混音或处理，或者音频转换器未能正确处理环绕声的情况下。（图源：Zern Liew/Shutterstock.com）

值得注意的是，我们可以通过音源转换器对拾取的立体声音频信号进行处理，从而创建出合成的多扬声器环绕声信号。也就是说，只需借助数字信号处理技术，我们就能够在很大程度上从立体声中分离出声源的位置。当然，3D音频最理想的解决方案依然是通过3D麦克风拾取声音，然后使用同样的3D扬声器配置来播放，但这种做法即麻烦又困难，而且既然信号处理就能够实现很近似的效果，也就鲜少有人会如此折腾了。

但信号处理真的是一剂“万灵丹”吗？我们敏锐的听觉，仅仅遇上信号处理和有限的几个扬声器，就可以被糊弄吗？如果不是这样的话，我们是不是就得用上满墙、满天花板的扬声器？

图4：有一句老话叫“多多益善”。许多艺人都喜欢在现场配备一大堆扬声器和功放，这在大型户外演出中也许是必要的，但你真的希望把整面墙都挂满扬声器吗？在某些情况下，你是不是更希望体验到更好的音效，而不是更大的音量？（图源：tommistock/Shutterstock.com）

面向对象的音频

沉浸式音频的最新实践来自杜比全景声 (Dolby Atmos)，它最初是为影院应用而设计的。迄今为止，已有近5000家影院经过改造，通过64个扬声器带来这种全新听觉体验。该技术支持由多达128个声道组成的大型阵列，这些声道可以使用全频、低音、重低音和高音单元。

与传统音频不同的是，杜比全景声（及其竞争对手索尼360）采用了“音频对象”的概念。视听接收器 (AVR) 将自动适配扬声器的数量、类型和位置，并对每个音频对象的频谱构成、振幅位置、速度和方向进行处理。不过，“音频对象”并不仅仅包含声音本身，它还带有各种元数据，帮助对象音频渲染器 (OAR) 让对象移动起来。在128个声道中，10个用于环境效果，余下的118个可用于音频对象。

这些声道并不一定对应于特定的扬声器。声道信息和声音对象是对应的，对象音频可以进行处理，并与其他对象音频相结合，最终以适当的音量分配到各个扬声器。整个过程均由AVR借助元数据来实时处理信号，并进行实时混音和分配。

可以想见，这样的技术绝不像立体声那样，只要随手放两台扬声器就可以实现。对于杜比全景声以及许多其他环绕声和3D音响系统，扬声器在放好位置后还必须进行校准，才能共同呈现出精确的声场。杜比全景声还有适用于家庭影院的方案，但并不会用到全部128个声道。这种家用方案采用的应该是34个扬声器的配置。

杜比全景声并不是完全新鲜的事物。2012年，洛杉矶的一家影院举办了一部迪士尼电影的首映式，这是该技术的首次实际应用。从那时起，大型影院、IMAX、天文馆、音乐剧、戏剧和其他音响应用都积极采用这项技术，使之成为了新电影和活动事实上的音频拾取标准。杜比全景声还通过天花板上的扬声器来构建完整的声音半球，不仅能够使声音真正从上方发出，还让实时处理变得更加容易。

曾几何时，杜比全景声对普通发烧友而言过于复杂和昂贵，但现在它对于有足够空间和预算的发烧友而言，已经成为让朋友们惊叹的必备配置，拉风指数五颗星。

如果你已经在其他环绕声技术上耗费了大量银子，那么也可以入手一个杜比全景声转换器，然后继续使用现有的扬声器和功放。不过，你一定不会止步于此，至少你肯定希望配备天花板扬声器。该转换器可以将杜比5.1转换为17扬声器的7.4.1环绕声配置。

值得注意的是，杜比全景声还可以通过条形音箱而非环绕扬声器来实现。各种形式的条形音箱技术正越来越受到欢迎。降低成本、简化设置、降低功耗、减少电缆和缩小尺寸等明显的优势推动了这项技术的发展。

相控阵垂直条形音箱已经证明了它们能够以良好的清晰度和分离度模拟完整的音频频谱。使用它们的音乐人会告诉你，带有6英寸扬声器的条形音箱柱可为重低音扬声器应用提供相当于18英寸扬声器的清晰度。这应该足够引起一些人的注意了。因此，水平条形音箱和基于条形音箱的混合系统（包括远程扬声器）在许多家庭影院和工作室中都很受欢迎。

条形音箱的顶部扬声器和侧边扬声器使声音在墙壁和天花板表面反射，让听众感到它似乎来自上方和背后。现代感十足的特斯拉Model 3就将前置条形音箱技术作为其15扬声器音频系统的一部分，从而将环绕声和沉浸式音频作为一项卖点。关闭Model 3的后置扬声器，启用带有信号处理和混响的沉浸式音频模式，便可以体验到这项功能，那些尝试过的人都坚信声音是从后面传来的。不过它的实际反馈毁誉参半，许多人都不喜欢这样的音效。测评师的观点也呈现出两极化倾向，不少都提到了不同类型的音乐适合或者不适合条形音箱式的沉浸式方案。这是有道理的，因为声音再现的质量离不开录音师的混音技术。条形音箱能够在这种场景中成功落地，意味着准确、带有上下方向的沉浸式音箱技术在没有地板和天花板扬声器的情况下也几乎都能实现。

拾取和渲染

诸如游戏之类的沉浸式视频体验，使用的是一种完全创造出来的环境，由具有表面渲染和指定物理属性的3D结构组成。真实的视频片断可以被捕获并以数字方式拼接在一起，形成一个包括上下影像的全景。

沉浸式的体验，例如在国家公园中散步，可以整合丰富的视觉效果，而音频则可以通过对预先录制的片段进行组合来合成或创建出来。这些片段可以在3D音响系统中进行拾取，并用作沉浸式体验的一部分。就像由头部追踪控制的视频一样，音频也必须由头部追踪来控制。例如，在你面对一条潺潺小溪时，所听到的声音与背对它时会有显著区别。如果没有通过头部追踪来控制声音，沉浸式体验就会大打折扣。

好在，你不必为沉浸式的目的而自己发明3D音频拾取方案。诸如森海塞尔 (Sennheiser) 等知名音频厂商利用分段轴和数字工具，制造出了专业的真正全向麦克风，以拾取高度定向的声音（图5）。AMBEO VR Mic包含多个敏感的宽频谱麦克风元件，并采用环绕声配置。DearVR MICRO处理软件可以渲染定向音频以提供标准环绕声配置。

图5：Sennheiser AMBEO VR Mic等沉浸式音频拾取技术，使数字音频引擎能够根据地磁极和方向来渲染声场。通过数字求和，可以创造出结合了不同距离多个声源的复合音频。（图源：森海塞尔）

为此，音频引擎需要知道你头部的方向和运动。按照今天的标准，这一点在使用头显设备时很容易实现，因为它们都内置了头部追踪功能用于视频渲染。但是，如何才能通过局限于两只耳朵的耳机来实现基于头部位置的沉浸式音频系统呢？我们可以把多个微型扬声器放置在耳机中，模拟环绕声体验。对于大多数应用而言，立体声已经足够，但它与真正的环绕声依然不在同一水平上。

非娱乐应用

虽然大多数情况下沉浸式视听技术会用于娱乐用途，但它在专业用途中也有一席之地。例如，产品设计工程就可以从包括视频和音频在内的沉浸式技术中获益。从视频的角度而言，可以通过虚拟的方式构建、渲染和检查复杂组件的机械设计。对于以沉浸式方式生成的虚拟组件，例如喷气式发动机，我们可以身临其境地进行构建、推入和检查，确保齿轮和涡轮对齐。沉浸在制造环境中的工厂专家可以指导世界另一端的维修技术人员进行操作。

沉浸式音频也可以在工程应用中提供帮助。设计汽车的工程团队可以聆听到模拟渲染的发动机和变速箱噪音。他们可以从虚拟设计中提取出气流、振动和摆动等环境控制要素，也可以在虚拟环境中设计并测试车窗，避免在特定车速下将车窗摇到特定位置时发出砰砰声——这是一种在当今许多新车上依然会出现的问题。

在各种用例中，音频都是沉浸式体验的组成部分，但并不是所有情况都需要环绕声。至少在通过双耳耳机实现真正环绕声的问题解决之前，模拟环绕声可能就已经足够了。