StreamSTGS：用于实时自由视点视频的流式空间和时间高斯网格

实时流式自由视点视频（FVV）仍面临显著挑战，尤其是在训练、渲染和传输效率方面。利用 3D 高斯溅写（3D Gaussian Splatting, 3DGS）的卓越性能，最近的 3DGS-based FVV 方法在训练和渲染方面取得了显著突破。然而，这些方法的存储需求可达每帧 $10$MB，使得实时流式 FVV 成为不可能。为解决此问题，我们提出一种新颖的 FVV 表示方法，称为 StreamSTGS，专为实时流式设计。StreamSTGS 使用标准 3D 高斯、时序特征和变形场表示动态场景。为实现高压缩效率，我们将标准高斯属性编码为 2D 图像，将时序特征编码为视频。该设计不仅实现了实时流式传输，而且天然支持基于网络条件的自适应比特率控制，无需额外训练。此外，我们提出滑动窗口方案以聚合相邻时序特征以学习局部运动，然后引入基于 Transformer 的辅助训练模块以学习全局运动。在多样化的 FVV基准测试中，StreamSTGS 在所有指标上均表现出与最先进方法相当的性能。值得注意的是，StreamSTGS 将 PSNR 提升约 $1$dB，同时将平均帧大小降至仅 $170$KB。代码已公开于 https://github.com/kkkzh/StreamSTGS。