元宇宙入门2：硬件和元宇宙

原作者：Matthew Ball

这是“元宇宙入门”的第二部分，重点介绍硬件在“元宇宙”中的作用。在这里，硬件被定义为“用于访问、交互或开发元宇宙的物理技术和设备的销售和支持。这包括但不限于面向消费者的硬件（例如 VR 耳机、手机和触觉手套）以及企业硬件（例如用于操作或创建虚拟或基于 AR 的环境的那些，例如工业相机、投影和跟踪系统以及扫描传感器）。此类别不包括特定于计算的硬件，例如 GPU 芯片和服务器，以及特定于网络的硬件，例如光纤电缆或无线芯片组。”

消费硬件

每年，消费硬件都受益于更好、更强大的传感器、更长的电池寿命、更复杂/更多样化的触觉、更丰富的屏幕、更清晰的摄像头等。我们还看到智能设备的数量不断增加，例如手表、VR 耳机（很快，AR眼镜）。尽管软件提供了实际体验或“魔力”，但所有这些进步都增强并扩展了用户沉浸感。

作为一个有限的例子，考虑一下实时头像应用程序，例如 Bitmoji、Animoji 和 Snapchat AR。这些取决于功能相当强大的 CPU/GPU（参见第 3 节）以及复杂的软件。但它们也需要功能强大的面部跟踪摄像头和不断改进的传感器硬件，并且得到了丰富。较新的 iPhone 机型现在可以通过红外传感器跟踪您脸上的 30,000 个点。虽然这最常用于 Face ID，但它现在可以连接到 Epic Games 的 Live Link Face 应用程序等应用程序，从而使任何消费者都能创建（和流式传输）基于虚幻引擎的实时高保真头像. 很明显，Epic 的下一步将是使用此功能将 Fortnite 玩家的脸实时映射到他们的游戏角色上。

与此同时，Apple 的 Object Capture 使用户能够在几分钟内使用标准版 iPhone 中的照片创建高保真虚拟对象。然后可以将这些对象移植到其他虚拟环境中，从而降低合成商品的成本并提高保真度，或者叠加到真实环境中以实现艺术、设计和其他 AR 体验。

许多新的智能手机，包括 iPhone 11 和 iPhone 12，都配备了新的超宽带芯片，每秒发射 500,000,000 个雷达脉冲，接收器可以处理返回信息。这使智能手机能够创建从您的家到您的办公室以及您正在步行的街道的广泛 RADAR 地图，并将您放置在这些地图中，相对于其他本地设备，精确到几厘米。这意味着当您从外面接近时，您的家门可以解锁，但从里面保持关闭。使用实时 RADAR 地图，您无需取下 VR 耳机即可在家里的大部分地方导航。

所有这一切都可以通过标准的消费级硬件实现，这令人惊讶。这一功能在我们日常生活中的作用越来越大，这解释了为什么 iPhone 能够将其平均销售价格从 2007 年的大约 450 美元提高到 2021 年的超过 750 美元，而不仅仅是以相同的价格提供更大的功能

XR 耳机是硬件方面的进步和突出需求的另一个很好的例子。第一款消费级 Oculus（2016 年）的分辨率为每眼 1080×1200，而四年后发布的 Oculus Quest 2 的分辨率为每眼 1832×1920（大致相当于 4K）。Palmer Luckey 是 Oculus 的创始人之一，他认为 VR 需要两倍以上的分辨率才能克服像素化问题并成为主流设备。Oculus Rift 的刷新率也达到了 72hz 的峰值，而最新版本达到了 90hz，当通过 Oculus Link 连接到游戏 PC 时，最高可达 120hz。许多人认为 120hz 是避免某些用户迷失方向和恶心的最低阈值。理想情况下，这将在不需要游戏级 PC 和系绳的情况下实现。

虽然人类平均可以看到 210°，但微软的 HoloLens 2 显示器只能覆盖 52°（从 34° 增加）。Snap 即将推出的眼镜只有 26.3°。要起飞，我们可能需要更广泛的覆盖范围。这些主要是硬件挑战，而不是软件挑战。更重要的是，我们需要在取得这些进步的同时提高可穿戴设备内部其他硬件（例如扬声器、处理器、电池）的质量——最好也缩小它们的体积。

另一个例子是谷歌的 Starline 项目，这是一个基于硬件的展台，旨在让视频对话感觉就像你和其他参与者在同一个房间里，由十几个深度传感器和摄像头提供支持，以及一个基于织物的、多立体光场显示和空间音频扬声器。这是使用体积数据处理和压缩实现的，然后通过 webRTC 交付，但硬件对于捕获和呈现“看起来真实”的细节水平至关重要。

非消费硬件

考虑到消费级设备的可能性，工业/企业硬件的价格和尺寸的倍数会令人震惊也就不足为奇了。徕卡现在销售价值 20,000 美元的摄影测量相机，具有高达 360,000 个“每秒激光扫描设定点”，旨在以比普通人亲眼所见的更清晰和细节捕捉整个商场、建筑物和家庭。与此同时，Epic Games 的 Quixel 使用专有相机生成由数百亿像素精确三角形组成的环境“MegaScans”。

这些设备使公司可以更轻松、更便宜地制作物理空间的高质量“镜像世界”或“数字孪生”，以及使用现实世界的扫描来制作更高质量和更便宜的幻想世界。15 年前，我们对 Google 捕捉（和资助）世界上每条街道的 360° 2D 图像的能力感到震惊。今天，许多企业可以购买 LIDAR 相机和扫描仪来构建完全身临其境的 3D 摄影测量复制地球上的任何事物。 

腾讯游戏已应用其面部验证系统来监视晚上 10 点至早上 8 点之间玩耍的儿童和青少年。“任何拒绝或未通过面部验证的人将被视为未成年人……并被踢下线。

当这些相机超越静态图像捕捉和虚拟化，进入现实世界的实时渲染和更新时，它们变得特别有趣。例如，今天，Amazon Go 零售店的摄像头将通过代码同时跟踪数十名消费者。未来，这种跟踪系统将用于在虚拟镜像世界中实时再现这些用户。诸如谷歌 Starline 之类的技术将允许远程工作人员从一种离岸“元界呼叫中心”——或者可能在他们家门口“出现”在商店（或博物馆、DMV 或赌场）中。

当您去迪斯尼乐园时，您或许可以在家中看到朋友的虚拟（甚至机器人）形象，并与他们合作打败奥创或收集无限宝石。这些体验需要的不仅仅是硬件——但它们是通过它来限制、启用和实现的。