元宇宙入门4：计算和元宇宙

原作者：Matthew Ball & Jacob Navok

这是“元宇宙入门”的第四部分，重点介绍计算在“元宇宙”中的作用。在这里，计算被定义为“支持元宇宙的计算能力的启用和供应，支持物理计算、渲染、数据协调和同步、人工智能、投影、动作捕捉和翻译等多样化和要求苛刻的功能。”

估计对更高计算能力的需求

在硬件和网络类别中，我仅查看了将作为元宇宙的一部分生成、发送和接收的增量数据的一部分，例如触觉、面部扫描和实时环境扫描。整个范围将大几个数量级。

例如，Nvidia 的创始人兼首席执行官 Jensen Huang 将沉浸式模拟的下一步视为比更逼真的爆炸或街头赛车更重要的事情。相反，它是“粒子物理学、重力、电磁、电磁波，[包括] 光和无线电波……压力和声音的定律”的应用。正如虚拟世界得到增强一样，“真实”世界也将得到增强。每年，越来越多的传感器、摄像头和物联网芯片将被集成到我们周围的物理世界中，其中许多将实时连接到一个可以交互的虚拟模拟器。同时，我们的个人设备将作为我们的护照，并兼任发电机的，很多这样的经历。简而言之，我们周围世界的大部分地区将不断互联和在线。包括我们。

总的来说，元宇宙将拥有人类历史上最大的持续计算需求。计算现在并且很可能仍然非常稀缺。引用 Andreessen Horowitz 普通合伙人 Chris Dixon 的话，“历史上，世界上每一种优秀的计算资源都曾供不应求……CPU 能力确实如此。GPU 能力确实如此。” 因此，计算能力的可用性和发展将限制和定义元宇宙（即使最终用户不会意识到这一点）。如果无法使用，您可以接收多少数据、多快或为什么都无关紧要。

考虑当今最流行的类似元宇宙的体验，例如Fortnite或Roblox。虽然这些平台通过令人难以置信的创造性成就取得成功，但重要的是要认识到它们的基本想法远非新 – 它们只是新的可能。长期以来，开发人员一直在想象在单个共享模拟中与数十名实时玩家（如果不是数百或数千）以及仅受想象力约束的虚拟环境的体验。 

直到 2010 年代中期，数以百万计的消费级设备才能在一场比赛中处理 100 名真实玩家的游戏，而且价格合理的服务器端硬件可用，并且能够近乎实时地同步这些信息. 一旦这种技术壁垒被打破，游戏行业迅速被超越游戏专注于UGC丰富和并发用户的高数（免火，PUBG，Fortnite，使命召唤：战区，Roblox，我的世界）。然后这些游戏迅速扩展到以前“仅限 IRL”的媒体体验（例如Fortnite 中的 Travis Scott 音乐会，或Roblox 中的Lil Nas X）。

然而，即使在大逃杀类型出现四年后，仍然需要一些技巧来确保它的工作。例如，大多数玩家从未真正在一起。相反，它们分散在一张大地图上。这意味着，虽然服务器需要跟踪每个玩家在做什么，但每个玩家的设备不需要渲染它们或跟踪/处理他们的动作。当堡垒之夜确实将玩家聚集到一个更狭窄的空间进行社交活动，例如音乐会，它将参与者数量减少到 50，并限制了他们与标准游戏模式相比可以做什么。而对于处理器功能较弱的用户，则需要做出更多妥协。几年前的设备会选择不加载其他玩家的自定义服装（因为它们不会影响游戏玩法），而只是将它们表示为库存角色。值得注意的是，Free Fire仅适用于移动设备，主要在新兴市场的中低端 Android 上播放，其主战大逃杀模式的上限为 50。

“这让我想知道这些类型游戏的未来发展将走向何方，而我们今天不可能构建。我们的峰值是 Fortnite 的 1070 万玩家 – 但这是 100,000 百人游戏。我们最终能否将它们全部放在这个共享的世界中？那会是什么样的体验？由于技术的不断上升趋势，甚至还无法发明全新的流派。” –蒂姆·斯威尼 (2019)

这当然会慢慢解决。使命召唤：战区在 2019 年提供了 150 人的比赛（尽管仅限于更高功率的游戏机和 PC；使命召唤移动版仅限于 100）。Roblox 还允许 200 名玩家进入其相对较低保真度的世界，在 Beta 测试中最多可能有700名玩家（承诺超过1,000 名）。Improbable已经对 4,000 进行了公开测试。但“更多并发用户”并不是我们计算设备的唯一需求。我们希望Fortnite 中的角色拥有更多可定制的物品，而不仅仅是服装和背包。分开的鞋子和帽子怎么样？参与内部的能力一场虚拟音乐会，而不是仅仅从一个基本上没有互动的、被封锁的区域参加一场？回到前面的例子，不到 1% 的台式机或笔记本电脑 Mac 和 PC 甚至可以在其最低保真度设置下播放Microsoft Flight Simulator。即使是微软的下一代 Xbox 游戏机，即在标题发布两个月后发布的 Series S 和 Series X 也不支持它（尽管它们将在今年晚些时候支持）。 

这并不意味着所有以元宇宙为中心的体验都需要丰富的、即时的处理（想想拟物化的会议室），更不用说所有时间了（沉浸式体验在保真度更高的情况下更好，但能够从更多设备访问它们是比只能从您最好的设备访问它们要好）。 

但人类历史表明，额外的计算能力总是会带来进步——这正是计算需求总是超过供应的原因。为此，黄仁勋想要效仿上帝的神圣设计的愿望似乎有些过分和不切实际，但这需要预测和摒弃可能由此产生的创新。谁会想到启用 100 人大逃杀会改变世界？ 

在哪里定位和建立计算

在解决我们对计算不断增长的需求及其相对稀缺性方面，有几种不同的思想流派。一种是将尽可能多的模拟处理集中在云中，而不是在本地计算设备上。例如，谷歌 Stadia 和亚马逊 Luna 在云端处理所有视频游戏，然后将整个渲染体验作为视频流推送到用户的设备上。客户端设备唯一需要做的就是播放此视频并发送输入（例如向左移动，按 X）。这种方法的支持者喜欢强调通过电网和工业发电厂为我们的家庭供电的逻辑，而不是私人的、家庭专用的发电机。基于云的模型允许消费者替换他们的消费级，很少升级，和零售商标记的计算机到企业级“计算荒谬”（引用杰夫·贝佐斯）的机器，每单位处理能力更具成本效益，更容易更换。这意味着，无论您拥有 1,500 美元的 iPhone，还是带有视频屏幕的旧式 WiFi 冰箱，理论上您都可以玩赛博朋克 2077尽显荣耀。

另一篇论文表明，我们最好押注本地计算的进步，而不是必须与不可靠的网络竞争的远程超级计算机（参见第 2 节）。基于云的渲染和视频流是一个引人注目的想法，但它也大大增加了需要交付的低延迟数据量。如前所述，游戏内容的目标是每秒至少 60 帧（是视频标准的两倍多）和多达 90-120 帧，理想情况下具有 2K 到 4K 的清晰度。将这个可靠地交付给所有想要同时参与元宇宙的人，并以低延迟……真的很难。这是发电机类比开始失效的地方；我们不会每天都在努力获得所需的电力，也不会在需要时尽快获得。 

即使在超低延迟的情况下，考虑到相机移动和接收新输入数据的速度（即光速，距离仅几英尺），流式传输（相对于本地处理）AR 数据也没什么意义。 . 鉴于 AR 的密集计算要求，因此我们的核心个人/移动设备很可能能够在大多数实时渲染中完成“足够好”的工作。

到目前为止，远程计算也没有被证明对渲染更有效。这是因为基于云的 GPU 不会产生通用的渲染“能力”。相反，它们是锁定的实例。单个 GPU，远程或本地，仅支持单个用户的渲染。没有人想出如何有效地、经济地、并按照现代对分辨率和帧率的期望，将其渲染能力分配给多个用户，就像电源计划在多个家庭之间分配电力一样，或者 CPU 服务器可以支持输入，大逃杀中一百名玩家的位置和同步数据。 

因此，由于需要针对峰值需求进行规划，云渲染服务器通常会面临利用率问题。周日晚上 8 点，克利夫兰地区的云游戏服务可能需要 75,000 台专用服务器，但周一凌晨 4 点仅需要 4,000 台。作为消费者，您可以购买 400 美元的 GPU，并让它随心所欲地离线使用，但数据中心经济学的导向是针对需求进行优化。

这就是为什么如果客户提前从亚马逊租用服务器（“预留实例”），AWS 会为客户提供折扣。客户可以保证明年的访问，因为他们已经为服务器支付了费用，亚马逊将其成本与客户价格之间的差价收入囊中（AWS 最便宜的 Linux GPU 预留实例，相当于一台 PS4，一年的成本超过 2,000 美元）。如果客户想在需要时访问服务器（“Spot 实例”），他们可能会发现它们不可用，或者只有低端 GPU 可用，或者只有其他地区的 GPU 可用，这意味着更大的延迟。

如果这种模式起飞，价格将会提高（“AWS 为预留消费者实例提供的利润是我的机会”），但租用利用率低且企业加价低的高端 GPU 总是成本高昂。数据中心也会产生大量热量，这需要昂贵的能源来冷却，而从云流数据向高分辨率、高帧率内容的转变也意味着带宽成本大幅增加。与本地计算相比，这两项费用都是附加的。

最重要的是，消费类处理器的改进速度比网络快得多，因为它们的更换频率要高得多，而且实际上并没有与光速作斗争。这种增长并不能缓解所有网络挑战，但它表明我们最好要求客户端设备执行更多计算，而不是向这些设备发送大量视频流。这可能会随着时间的推移而改变，但在可预见的未来，斯威尼定律看起来可能会成立。

边缘计算通常被强调为元宇宙的关键基础架构策略。具体来说，该模型涉及在消费者和更远的中央服务器之间的关键网络节点部署超级计算机。边缘计算兼容并补充上述两种思想流派，因为它可以帮助最终用户补充其本地计算，同时最大限度地减少基于网络的延迟和网络拥塞风险。

这种方法的应用价值仍然不确定。例如，微软的 xCloud 从标准 Azure 数据中心而不是边缘运行。这可能是由于上述云服务利用率问题——您运营的边缘中心越多，利用率问题就越严重。大多数使用边缘计算的消费者服务，例如 Netflix，实际上只是将其用作边缘硬盘，将文件存储在离用户更近的位置。 

Cloudflare 的创始人兼首席执行官马修·普林斯认为，边缘计算的机会在于合规性。由于政府法规要求在本地处理用户数据，互联网变得更加分散，公司将别无选择，只能将数据的存储和处理置于更靠近用户的位置。这在元宇宙很可能是一样的；政府要求（无论是 GDPR 还是 CCPA）只会随着时间的推移变得更加繁重，就像中国和俄罗斯长期以来的情况一样。 

虽然谷歌是边缘计算的忠实拥护者，但苹果相信未来真正的“边缘”计算模式将是我们口袋里越来越强大的手机，因为它们将为我们周围的其他设备承担大部分负担，例如手表和智能眼镜。

但是，即使我们提高了消费设备的计算能力，将更多的企业计算能力移到离消费者更近的地方，并建立更集中的基础设施，我们仍然有可能达不到目标。 

这是今年早些时候让我震惊的一个例子。从 2020 年 12 月到 2021 年 3 月，Genvid Technologies（披露：投资组合公司）在 Facebook Watch 上运营了其第一个主要的“MILE”（或大规模交互式现场活动）。这个 MILE，Rival Peak，是一种虚拟化的美国偶像x LOST x Big Brother，对被困在虚构的太平洋西北部的 13 名 AI 参赛者进行的为期 13 周、24/7 的模拟。虽然没有角色是单独控制的，也没有一个观众是一个单独的角色，但数以万计的并发观众能够实时影响模拟——解决谜题以帮助参赛者，选择他们可以做什么，甚至影响谁幸存下来并被启动。Rival Peak永远不可能在消费类设备上运行（尽管存在延迟，但它的高 CCU 仍能工作，因为它是为低延迟交互而设计的）。事实上，它几乎没有在 AWS 上运行。Rival Peak拥有八个环境（生产、备份、暂存、QA 和开发），每个环境都由十多个 GPU 和数百个其他 CPU 支持 曾经用完 AWS 上的 GPU 服务器，并且在测试期间经常耗尽可用的现货服务器。

因为没有特定的玩家（更不用说“玩家一号”了），Rival Peak不符合元宇宙的本能定义。然而，支持无限交互的持久和无休止的虚拟世界的运行，每一个都会产生持久的后果，与任何其他的元界一样接近最终状态。即使在它的新生形式中，不需要有意义的消费者端处理，它的计算量也已经用完了。

想象一下 Nvidia 的互连镜像世界愿景需要什么。或者绘制城市的整个几何图形所需的那种模拟，然后调整从交通灯到 5G 无线电波的所有内容，以实时优化人流和信息流。就为了明年的 MILE（尚未公布），Genvid 将需要 200% 以上的 GPU 和 CPU。

去中心化计算

对处理的永无止境的需求——理想情况下尽可能靠近用户，但即使靠近工业服务器群——总是会激发去中心化计算的概念。家里和消费者手中有这么多功能强大且经常处于非活动状态的设备，我们不可避免地需要开发系统来有效地利用它们。至少在文化上，这个想法已经很好理解了。任何在家中安装太阳能电池板的人都可以将多余的电力出售给当地电网（以及间接地，他们的邻居）。埃隆马斯克吹捧未来，你的特斯拉在不使用时可以作为自动驾驶汽车出租，而不是在它的 99% 的时间里停在你的车库里。

1998 年，当我们发布第一款虚幻游戏时，我的待办事项清单上有一个有趣的项目。这是为了让游戏服务器能够相互通信，这样我们就可以在一个游戏会话中拥有无限数量的玩家——而且它似乎仍然在我们的愿望清单上。您是否可以在同一个共享世界中开发一款可供数百万玩家玩的游戏，这个问题现在对游戏行业来说是一个非常有趣的挑战。–蒂姆·斯威尼 (2019)

事实上，早在 1990 年代，就出现了使用日常消费硬件进行分布式计算的程序。例子包括伯克利的SETI@HOME，其中消费者会自愿使用他们的家用电脑来寻找外星生命。但是最近的区块链概念，包括智能合约和代币，为这种共享提供了一种经济模型。在这个概念中，未充分利用的 CPU 和 GPU 的所有者将因使用其处理能力而以某种加密货币“付费”，可能是由网络拓扑中位于它们“附近”的用户支付。甚至可能会有对这些资源的访问的现场拍卖，无论是那些有“工作”竞标访问权限的资源，还是那些有能力竞标工作的资源。

这种机制的一个例子是 OTOY 的Render Network. 作为第一个完全利用 GPU 的无偏光线追踪器，Octane Render 开创了周转时间，使实时修改场景成为可能。但对于其用户（包括效果工作室、艺术家、动画师、设计师、建筑师和工程师）来说，要利用这些突破性功能，他们需要获得强大的实时处理功能。OTOY 想到了通过创建基于以太坊的 RNDR 网络和令牌来利用空闲 GPU 网络的想法。作为昂贵的云提供商的替代方案，客户将渲染任务发送到计算机网络，并使用令牌向其所有者付款。各方之间的所有协商和签约都在几秒钟内由协议处理，任何一方都不知道正在执行的任务的身份或细节。 

您会意识到区块链实际上是一种用于运行程序、存储数据和可验证地执行交易的通用机制。它是计算中存在的一切的超集。我们最终会将其视为分布式计算机，其运行速度比我们台式机上的计算机快 10 亿倍，因为它是每个人的计算机的组合。-蒂姆·斯威尼 (2017)

这样的市场能否提供元宇宙所需的大量处理能力？想象一下，当您在沉浸式空间中导航时，您的帐户不断向您附近的人（也许是走在您旁边的人）持有但未使用的移动设备发出必要的计算任务，以便渲染或动画化您遇到的体验。当然，稍后，当您不使用自己的设备时，您将获得代币作为回报。这种加密交换概念的支持者将其视为所有未来微芯片的必然特征。每台计算机，无论多小，都将被设计为始终拍卖任何空闲周期。 

“区块链将存在很长时间，它将成为一种基本的新计算形式。” –黄仁勋 (2018)