Meta Quest 3 上的原生混合现实合成：基于 ARM 的 SoC 与热余量的定量可行性研究

当前混合现实（MR）内容创作的采用主要基于以 PC 为中心的外部平台和第三方摄像头，这限制了独立虚拟现实（VR）用户的采用。在本工作中，我们研究了将类似增强型 LIV SDK 的 MR 合成管线集成到 Meta Quest 3 硬件中的可行性，从而在没有外部基础设施的情况下实现原生第一人物物理视角（FPP）MR 内容创作。我们基于硬件规格、开发者文档以及基于 ARM 的 SoC（包括 Snapdragon 8 Gen 3 和 MediaTek Dimensity 9300）的基准测试，进行了一项基于仿真的可行性研究。该方法提出使用 Meta 的实验性 Passthrough Camera API 进行摄像头透视增强，通过 Unity Sentis 和 FastSAM 进行设备端机器学习分割，并为独立 VR 提供优化的实时合成引擎。基准测试结果表明，Quest 3 的 Snapdragon XR2 Gen 2 能够在 720p30 分辨率下支持轻量级原生 MR 合成，使用 95% 的资源利用率，留出 5% 的热余量以维持运行。与 Snapdragon 8 Gen 3 等下一代 SoC 的比较显示出 34% 的余量，凭借 1.5--2 倍更快的 CPU/GPU 性能和更高的内存带宽，可实现更稳健的 MR 体验。尽管当前的 Quest 3 硬件支持基础的原生 MR 合成，但热限制将运行时间限制在降频前的 5--10 分钟。实验结果证实，在当前硬件上进行独立 MR 内容创作对于短时录制是可行的，而新型 XR SoC 提供了用于延长会话和提升质量的余量。这些发现为将 MR 内容创作从基于 PC 的工作流过渡到一体式 VR 设备奠定了基础，从而增强了内容创作者和研究人员在 MR 制作方面的能力。