面向大规模环境下多客户端实时远程呈现的静态与动态场景部分高效三维重建、流式传输与可视化

尽管针对含静态与动态场景实体的房间尺度场景的远程呈现系统取得了令人瞩目的进展，但将其能力扩展至超出几平方米固定尺寸的更大规模动态环境场景仍具挑战性。本文旨在基于单台移动消费级RGB-D相机的轻量级场景捕获，仅以实用带宽需求，在超出房间尺度且含静态与动态场景实体的大规模环境中共享三维实时远程呈现体验。为此，我们提出一个系统，其构建于一种新颖的混合体素场景表征之上：结合用于静态内容的基于体素的场景表征（不仅存储重建表面几何，还包含物体语义信息及其随时间累积的动态运动信息），以及用于动态场景部分的基于点云的表征（基于为输入帧提取的语义与实例信息实现与静态部分的相应分离）。通过对静态与动态内容的独立且同步流式传输（我们将潜在移动但当前静态的场景实体无缝整合进静态模型，直至其再次变为动态），以及在远端客户端融合静态与动态数据，我们的系统能够以接近实时的帧率实现基于VR的实时远程呈现。我们的评估从视觉质量、性能及涉及设计选择的消融研究方面展示了该新颖方法的潜力。