2022-08-30 08:41:12
说起 VR（虚拟现实）领域的前沿研究进展，全球最火爆的 VR 设备供应商 Meta，绝对是引领市场风向的存在。
Meta 的 CEO 马克?扎克伯格最近在访谈中透露了 Meta 在元宇宙领域的最新布局。Meta 将于 10 月推出新的 VR 头显 ——Meta Quest Pro。
据悉，该头显的最大亮点是具有面部和眼动跟踪功能，可以让虚拟数字化身进行眼神交流。硬件分析师 Brad Lynch 认为，Meta Quest Pro 将采用经过改进的 XR2 处理器，较现有的 XR2 处理器同比性能提升 30%。分析师郭明錤预测，Quest Pro 将使用单眼 2160×2160 分辨率的面板。
在访谈中，扎克伯格还谈到了元宇宙社交，他认为，从文字、图像、再到视频，社交媒体的载体正朝着更大的信息容量演变，而下一个能比视频承载更多信息量的载体，就在 VR 领域。
此前，扎克伯格亲自下场推荐自家的社交平台 Horizon Worlds，并发表了一张 VR 自拍。虽然照片遭到全网群嘲，不过扎克伯格还是为 Horizon Worlds 带起了一波全网热度。
▲ 扎克伯格的 VR 自拍
近来，Meta 在元宇宙领域的动作频繁。今年 6 月，Meta 的 VR 部门 Reality Labs 推出了四款 VR 头显原型机，分别展示未来 VR 设备的 4 个关键技术演进方向：高分辨率、高动态范围（HDR）、轻薄外形、降低晕眩感的变焦技术优化。在 8 月举办的 SIGGRAPH 大会中，Meta 的显示系统开发负责人 Douglas Lanman 发表演讲，为我们介绍了攻破 VR 技术瓶颈的十大挑战。
在 SIGGRAPH 2022 大会上，外媒 Auganix 的记者 Sam Sprigg 特别体验了主打 HDR 功能的 VR 原型机 Starburst。Oculus Quest 2 是 Meta 迄今推出的 VR 一体机巅峰之作，去年出货量突破千万台，是史上最畅销的 VR 产品，而 Starburst 的峰值亮度足足有 Quest 2 的 200 倍。
那么，Meta 的元宇宙布局究竟是怎样的？Meta 的原型机体验起来到底如何？Meta 的百亿研发都投入到了哪里？让我们带着这些疑问，一起来看看 Meta 在 VR 领域上的最新发展。
01. 为探索四大研究领域，Meta 发布四款原型机
今年 6 月，Meta Reality Labs 公布了四款不同技术领域的 VR 头显原型机。
Butterscotch 探索分辨率技术、Starburst 探索 HDR 技术、Holocake 2 探索 VR 头显的轻薄外形打造技术、Half Dome 系列探索变焦技术。这四款原型机分别代表了 Meta 在四个 VR 头显研发领域取得的最新进展。
此前，Meta 的 CEO 马克?扎克伯格曾提出视觉图灵测试（Visual Turing test）的概念。简单来说，视觉图灵测试的考核标准就是虚拟图像能否以假乱真，让人眼无法分辨出虚拟图像与真实图像。扎克伯格表示，视觉图灵测试有两个重点，即照片级真实感和临场感。
▲ 不同 VR 头显分辨率对比
而让图像更加逼真的方法之一，就是尽可能地提升图像的分辨率。为此，Meta 研发了原型机 Butterscotch，其特点就是具有“视网膜级别”的分辨率。
Butterscotch 的 PPD 达到 55，很接近每 1 度角 60 像素的“视网膜分辨率”水平，其分辨率是 Quest 2 的 2.5 倍，Meta Reality Labs 科研部门 DSR 团队光学科学家 Yang Zhao 说，Butterscotch 的定制透镜模组中，有两个高精度玻璃镜片，镜片的表面质量更高，但也更重。此外，还有一个可衍射光线的特制透镜。玻璃透镜与衍射透镜组合后，即可呈现清晰的图像。
▲ Starburst 原型机
Starburst 原型机的特点是具备高 HDR（高动态范围成像）功能，其背光的最大亮度可达 20000nit，是现有 VR 头显 Quest 2 的 200 倍。Meta Reality Labs 团队开发 Starburst 的目的是在虚拟环境中还原完整的室内照明，并探索能让用户实现最佳沉浸体验的理想亮度。
Starburst 采用 COB LED（常用于车灯上的 LED）取代原来的 LCD 屏幕背光，这在很大程度上提高了 LCD 的背光亮度，但也产生了更多的热量。因此，Starburst 还配备了风扇和 3D 打印散热底架。但是设备整体比较笨重，且耗电严重。在四项技术中，这项技术离上市的距离最远。
▲ Holocake 2 原型机
Holocake 2 原型机的特点是轻薄，可以提升 VR 头显的佩戴舒适度。Holocake 2 是一款 PC VR 设备，虽然它的外形轻薄，但是它需要额外的计算和电池组件空间，采取分体式设计。
▲ Half Dome 发展史
Half Dome 是基于 Oculus Rift 改造的 VR 头显原型机，其特点是采用可变焦透镜。从第三代开始，Half Dome 的透镜从机械系统升级为电子变焦系统，减少了机械噪音和震动。Half Dome 3 有 32 个可切换的焦点平面。据体验者透露，通过 Half Dome 的动态变焦玩《Lucky’s Tale》等游戏时，视野里的图像焦点可以根据手柄移动的距离而变化。
02. Starburst 峰值亮度为 20000nit，是 Quest 2 的 200 倍
在本月举办的计算机图形顶会 SIGGRAPH 2022 上，外媒 Auganix 的记者 Sam Sprigg 特别体验了主打 HDR 功能的 VR 原型机 Starburst。Oculus Quest 2 是 Meta 迄今推出的 VR 一体机巅峰之作，去年出货量突破千万台，是史上最畅销的 VR 产品，而 Starburst 的峰值亮度足足有 Quest 2 的 200 倍。
在展会现场，两台 Starburst 被挂在一个框架上供参与者体验。Starburst 的重量约为 2.5 公斤，这个数字对于头戴式设备而言，有点太大了。Sam Sprigg 说：“它太重了，你无法把它戴在头上，只能把它举到脸前。”并且，Starburst 需要大量电力支持其高亮度显示，所以它被固定在了框架上。
▲ 两台 Starburst 被悬挂在一个架子上
Starburst 的亮度是用“nit”来衡量的，Sam Sprigg 称，室内环境的亮度超过 10000nit，而 Starburst 的峰值亮度为 20000nit。而 Meta 曾表示，Quest 2 的峰值亮度约为 100nit，Starburst 的峰值亮度是 Quest 2 的 200 倍。
而 20000nit 的峰值也可以在一定程度上解释 Starburst 的“笨重”。高亮度也会产生高热量，为了散热，Starburst 配备了大型的铝散热器。Meta 的显示系统研究团队（Display Systems Research，DSR）的研究科学家 Nathan Matsuda 说，铝散热器至少占了设备重量的 50%。此外，设备顶部有一个大型风扇，可以吸收散热器中的热量。
▲ Starburst 由 36 个零部件组成
不过，Starburst 的分辨率较低，约为 2560x1620 像素，比 Quest 2 略低。不过，这也可以让人接受。因为 Starburst 主要展示 HDR 的解决方案，至于高分辨率，那是 Butterscotch 该探索的方向。
Starburst 同时使用彩色和单色 LCD（液晶显示器）。Matsuda 表示，这是因为单个 LCD 在低光下的对比度较差，而两个彩色 LCD 又会吸收大部分光线，降低显示效果。因此，将彩色和单色 LCD 串联使用，就可以获得最佳的显示效果。
为了专注探索 HDR 技术，Starburst 在画面的刷新率和视野方面做出了妥协。不过，Sam Sprigg 称，这种妥协并没有影响 Starburst 在 HDR 和亮度方面的表现。
▲ Sam Sprigg“戴着”Starburst
Starburst 演示的第一部分就是在虚拟空间设置一个光源，再放置一些球体来显示反射光源。Sam Sprigg 称，在 10000nit 显示范围下，这与 Quest 2 的体验相同，没有什么特别的地方。
但是，当亮度上升到 10000nit 时，他能感受到更明显的亮度。展示 10000nit 光线时，演示切换到了海洋日落景观。太阳穿过云层，光线打在海洋的波浪上，水面波光粼粼。然后，光线上升到了峰值 20000nit，画面中有一个虚拟的太阳。Sam Sprigg 称，他觉得自己仿佛看到了真实的太阳，因为光线实在太亮了。最后，太阳落山时，海浪发出了微弱的反光。这个演示令人印象深刻。
▲ 放置球体测试光源
Sam Sprigg 称，他在 Starburst 中直视 20000nit 的光源可能跟盯着 60 瓦灯泡的感觉差不多。但是，VR 中的光源距离他的眼睛只有几英寸，这个距离很近。他认为，这种亮度显示可以为用户带来更加真实且富有沉浸感的体验。
但是，Sam Sprigg 也指出，功率、热量、外形是限制 VR 头显发展 HDR 技术的重要阻碍。他认为，我们可能还需要很长的时间，才能等到能够输出 20000nit 的成熟上市产品。
03. 困难重重，VR 头显面临十大技术挑战
目前 Meta 虽然在 VR 头显上已经取得了一些技术进展，但仍然遇到了很多目前无法解决的技术瓶颈。在 SIGGRAPH 大会的演讲中，Meta 显示系统开发负责人 Douglas Lanman 为我们提供了一些参考方向 —— 要想将 VR 体验提升到新的高度，目前有十大挑战亟待解决！
谁能率先攻破这些挑战，谁就有望在愈演愈烈的元宇宙硬件入口抢夺赛中，争得先机。
1、分辨率：Meta 开发 Butterscotch 原型机，致力提高分辨率
为了提高用户的沉浸感，让虚拟世界看起来更加逼真、清晰，VR 头显必须拥有更高的分辨率。目前的 VR 头显分辨率离人类视觉水平还非常遥远。
Meta 表示，他们的初步目标是实现单眼 8K 分辨率和 60PPD（像素密度）。但是目前 Quest 2 只达到了单眼 2K 分辨率和 20PPD，距离这一目标还有较远距离。
为了提高 VR 头显的分辨率，Meta 开发了专注探索分辨率的 Butterscotch 原型机。在这方面，高分辨率显示器的开发和生产并不是难点，难点在于如何为高分辨率显示器配备相应的计算能力。Lanman 指出，注视点渲染（Foveated Rendering）和云流送（Cloud streaming）两种技术或许有助于提升计算能力，但是这两种技术本身的研发难度也很大。
▲ 上面是普通模糊处理的 VR 效果，下面是注视点渲染技术模糊效果
2、视场角：VR 头显视场角比人眼小一倍
人类的平均水平视场角为 200 度，而目前大多数商用 VR 头显的水平视场角为 100 度。这意味着 VR 头显的视野范围比我们在真实环境中看到的更窄。此外，在垂直视场角方面，VR 头显也有改进的余地。
视野越宽，VR 头显呈现的像素也越多。这就要求更高的功率和更多的废热（waste heat）。此外，视线范围变宽后，视线范围边缘的图像容易失真。因此，更宽的视线范围需要更好的透镜技术支持。并且，研究人员还要确保镜头和显示器的构建方式不会增加 VR 头显的外形尺寸。
3、人体工程学（Ergonomics）：VR 头显佩戴舒适度不够
目前大多数 VR 头显都会略显“笨重”，例如 Quest 2 的重量超过 500 克，其设备厚度（从面部突出的距离）达 8 厘米。这样的设备显然不会为用户带来很好的佩戴体验。理想的 VR 设备应该更轻薄，能让用户舒适地长时间佩戴。
Pancake 透镜和全息透镜或许会对减小头显体积有所帮助，目前 Meta 的 Holocake 2 原型机正在往此方向探索，但其尚未发展到大规模生产的水平。
▲ “太阳镜”是 Holocake 1 原型机，透明的是 2016 年的 Oculus Rift
4、视力矫正显示屏：还未找到成本低廉的视力矫正显示屏
更好的 VR 头显应该具备视觉矫正功能，让用户不必在 VR 头显下还带着常规眼镜。这个问题可以通过特殊的镜头附件解决，但这不是理想的解决方案。最佳方案是头显的显示器自带视觉矫正功能，这样头显设计师就不再需要考虑适配眼镜等问题。
但挑战就在于，如何才能找到一种制造成本低廉，且不会额外增加头显重量的解决方式呢？
▲ 具有视力矫正功能的镜头附件已经存在，但它们并不是理想的解决方案
5、变焦：Meta 原型机 Half Dome 可实现人眼变焦
在自然环境中，为了看清不同距离的画面，人眼可以自然变焦。但在 VR 头显中，因为人眼与屏幕之间的距离没有改变，所以人眼无法变焦，也无法看清远近景物之间的差别。这其中存在视觉辐辏调节冲突（vergence-accommodation-conflict）问题。所以有时用户会感到眼睛疲劳，甚至出现头痛和呕吐现象。
为了解决这个问题，Meta 的研究人员开发了一系列支持“渐进式视觉”（progressive vision）的原型机 Half Dome。Half Dome 可以模拟不同的焦点平面，呈现出不同的模糊程度，从而帮助人眼在虚拟世界里调整焦距。
▲ 瞳孔会随着物体距离变化
6、眼动追踪：难以适配所有人的眼部情况
眼动跟踪是虚拟现实中的一项关键技术。它是众多其他重要 VR 技术的基础，如变焦、畸变校正等。通过这项技术，用户可以在虚拟世界中实现与其他用户的眼神交流，拥有更加真实的社交体验。
但问题在于，每个人都有不同的瞳孔形状、每个人眼睑和睫毛的生长情况也不同，所以目前眼动追踪技术还无法很好地适配所有用户。因此，Lanman 团队将广泛收集更多的用户数据，以此升级眼动追踪技术技术，努力让它与更多人适配。
▲ 瞳孔的形状因人而异，这对眼动追踪技术来说是一个挑战
7、畸变校正：Meta 研发失真模拟器，加快算法迭代速度
瞳孔的运动会引起图像的失真，进而降低用户的沉浸感，这种现象在配合变焦技术使用时尤其明显。为了开发校正算法，研究人员必须在实物头显上进行调整测试，但生产头显可能会耗费数周甚至数月，这大大拖延了算法的迭代时间。
为了解决这个问题，Meta 研究团队开发了一种失真模拟器（distortion simulator）。有了这种模拟器，无需生产测试头显和特殊镜头，研究人员就能测试校正算法。
▲ 红色光线未校正，蓝色光线是校正后的结果
8、高动态范围（HDR）：Starburst 原型机峰值亮度为 20000nit
物理对象和环境的亮度远远高于 VR 头显，为了解决这个问题，Meta 创造了 Starburst 原型机。Starburst 的亮度峰值为 20000nit，是现存 Quest 2 的 200 倍。
Starburst 可以更真实地模拟封闭空间和夜晚的照明状况，让虚拟环境看起来更加真实。不过，目前 Starburst 很重，并且十分耗能。
Meta 认为，HDR 对视觉真实感的贡献要大于分辨率和变焦，但这项技术距离实际应用最为遥远。
▲ Starburst 原型机特写
9、视觉逼真度（Visual realism）：透视（Passthrough）技术尚不成熟
更好的 VR 头显应该还能让 VR 用户与现实世界保持互动。VR 头显可以记录真实环境信息并在虚拟现实中显示为视频图像。这种称为“透视”（Passthrough）的技术已经在商用 VR 头显中实现，但其质量很差。例如，Quest 2 提供了一种黑白相间的透视模式，而 Meta 的即将推出的高端 VR 头显“Quest Pro”旨在追求更高的分辨率和彩色透视功能。
然而，VR 头显尚未实现物理环境的完美重建。透视技术捕捉到的画面视角在空间上与眼睛存在偏差，用户在长时间使用时可能会感到不适。所以，Meta 正在研究人工智能辅助的视线合成，该技术能实时生成视角正确的视点，并具有高视觉保真度。
此外，Meta 还在研究一种“反向透视”（Reverse Passthrough）功能，该功能可以让现实用户看到 VR 用户的眼镜和脸部，进而进行眼神交流。但是目前这项技术在视觉上不协调、不自然，还远未为市场做好准备。
▲ 左边是一个 Oculus Rift，它挡住了 VR 用户的视线，右侧是早期的反向“透视”原型机
10、面部重建：Meta 开展“虚拟化身”项目研究
Meta 希望未来人们在虚拟环境中见面就像在现实中一样真实。为此，Meta 正在展开了名为虚拟化身（Codec Avatars）的研究项目，该项目致力于为人们在虚拟环境中创建 3D 数字化身。
目前，VR 头显可以实时读取 VR 用户的面部表情，并将其转移到虚拟现实中。据悉，即将推出的 Quest Pro 或将成为 Meta 第一款提供面部跟踪（face-tracking）的设备。
▲ Quest Pro 可以识别面部表情并将其传输到 VR 设备上
04.结语：Meta 的 VR 技术已有突破，但仍需继续攻克技术难题
Lanman 在 SIGGRAPH 2022 上提出了目前 VR 头显面临的十大挑战，我们可以从中看到目前 Meta 取得的进展和尚未解决的问题。Meta 发布了四款原型机，目的是解决 VR 头显在分辨率、变焦、轻薄外形、HDR 四个方面的问题。这四款原型机各有所长，在各自领域获得了初步的技术进展。此外，Meta 开展了虚拟化身项目助力 VR 头显的面部重建功能、开发了失真模拟器加速算法迭代。
这些原型机展现了现在 Meta 在 VR 单项技术领域能达到的最高水准，但这些技术远远不足以打造出一个成熟的 VR 头显。目前仍存在一些 Meta 暂时无法攻克的技术问题。例如 VR 头显的视场角比人眼更窄、VR 头显佩戴的舒适度不够、VR 头显还未配备视力矫正功能、VR 头显的眼动追踪技术不能适配所有人、VR 头显的“透视”技术尚不成熟等等。
细数目前 Meta 在 VR 头显上的探索，我们可以发现，Meta 已经在 VR 头显探索的路上走了很长的一段距离。但是，Meta 离这条路的终点还很远。目前，VR 头显相关的各项技术都在积极开发中，但这些技术还远未成熟，离上市商用还有一段距离。从这个角度来看，VR 的爆发潮还很远。
