HiCoM：用于可流式传输动态场景的分层相干运动（基于 3D 高斯泼溅）

从多视角流式视频在线重建动态场景在训练、渲染和存储效率方面面临重大挑战。凭借卓越的学习速度和实时渲染能力，3D 高斯泼溅 (3DGS) 最近在这一领域展现出巨大潜力。然而，3DGS 在存储方面可能效率低下，且容易因过度增长高斯体而过拟合，特别是在视角有限时。本文提出了一个名为 HiCoM 的高效框架，包含三个关键组件。首先，我们采用扰动平滑策略构建紧凑鲁棒的初始 3DGS 表示。接着，我们引入分层相干运动机制，利用 3D 高斯体固有的非均匀分布和局部一致性，跨帧快速准确地学习运动。最后，我们不断用额外的高斯体细化 3DGS，随后将它们合并回初始 3DGS 以保持与不断演变场景的一致性。为保持紧凑表示，在处理后续帧前，会移除等量的低不透明度高斯体，它们对表示影响极小。在两个广泛使用的数据集上进行的大量实验表明，我们的框架将最先进方法的学习效率提升了约 20%，将数据存储减少了 85%，在实现具有竞争力的自由视点视频合成质量的同时，具有更高的鲁棒性和稳定性。此外，通过并行同时学习多帧，我们的 HiCoM 将平均训练墙钟时间降低到每帧 <2 秒，性能下降可忽略不计，大幅提升了现实适用性和响应速度。