面向高效可流式自由视点视频的 4D 高斯压缩
计算机视觉与模式识别
2025-03-25 v1 图像与视频处理
摘要
3D 高斯溶解 (3DGS) 在实现照片级自由视点视频 (FVV) 体验方面具有巨大潜力。然而，海量的高斯及其相关属性为存储和传输带来了重大挑战。现有方法通常将动态 3DGS 表示和压缩处理分离，忽略训练期间的运动信息和率失真 (RD) 折中，导致性能下降和模型冗余增加。为弥补这一差距，我们提出了 4DGC，即一种面向高效可流式自由视点视频的率感知 4D 高斯压缩框架，显著减少存储空间同时保持卓越的 RD 性能。具体而言，4DGC 引入一种运动感知的动态高斯表示，利用紧凑运动网格结合稀疏补偿高斯来利用帧间相似性。这种表示有效处理大位移，保持画质并减少时序冗余。此外，我们提出了一种端到端压缩方案，采用可微分量化和微型隐式熵模型高效压缩运动网格和补偿高斯。整个框架均使用率失真折中进行联合优化。广泛的实验表明，4DGC 支持可变比特率，并在多个数据集上持续优于现有方法。
引用
@article{arxiv.2503.18421,
title = {4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video},
author = {Qiang Hu and Zihan Zheng and Houqiang Zhong and Sihua Fu and Li Song and XiaoyunZhang and Guangtao Zhai and Yanfeng Wang},
journal= {arXiv preprint arXiv:2503.18421},
year = {2025}
}
备注
CVPR2025