SLAMCast：面向沉浸式多客户端实时远程呈现的大规模实时三维重建与流式传输

近年来，基于RGB-D传感器数据的实时三维场景重建，以及此类数据在VR/AR环境中的探索，取得了巨大进展。然而，将这两部分组合成远程呈现系统面临着显著的技术挑战。迄今为止提出的所有方法对输入输出设备、计算资源和传输带宽的要求都极为苛刻，且未能达到远程协作等应用所需的即时性水平。在此，我们引入了据我们所知首个实用的客户端-服务器系统，用于静态三维场景的实时捕获与多用户探索。我们的系统基于如下观察：交互式帧率足以进行捕获与重建，而仅在客户端需要实时性能，以在渲染三维模型时实现无延迟的视图更新。从这一洞见出发，我们扩展了先前的体素块哈希框架，消除了内部依赖，并提出了据我们所知首个线程安全的GPU哈希映射数据结构，该结构在线程级别大规模并发检索、插入和删除条目时具有鲁棒性。我们进一步提出了一种针对体数据的新颖传输方案，专门面向Marching Cubes几何重建，使服务器与探索客户端之间的带宽减少90%。所得系统对网络带宽、延迟和客户端计算的要求非常适度，使其能够完全依赖消费级硬件（包括移动设备）。我们证明，我们的技术在保持最先进表示精度的同时，为任意数量的客户端提供沉浸式、流畅且无延迟的观看体验，即便在网络中断期间也是如此。