GSVC：通过 2D 高斯溅实现视频表示与压缩
计算机视觉与模式识别
2025-01-23 v2 多媒体
摘要
3D 高斯溅已成为静态 3D 场景的革命性、有效的学习表示。在本 work 中，我们探索使用 2D 高斯溅作为表示视频的新原始。我们提出 GSVC，通过学习一组 2D 高斯溅有效表示和压缩视频帧。GSVC 包含以下技术：(i) 为了利用相邻帧之间的时间冗余性，可以加快训练速度并提高压缩效率，我们预测基于前一帧的帧的高斯溅；(ii) 为了控制文件大小与质量之间的权衡，我们删除对视频质量贡献较小的高斯溅；(iii) 为了捕捉视频中的动态，我们随机添加高斯溅以适应大运动或新出现的物体；(iv) 为了处理场景中的显著变化，我们基于学习期间的损失差异检测关键帧。实验结果表明，GSVC 在率失真权衡方面表现良好，相当于 AV1 和 VVC 等最先进的视频编解码器，渲染速度可达 1920x1080 视频的 1500 fps。
引用
@article{arxiv.2501.12060,
title = {GSVC: Efficient Video Representation and Compression Through 2D Gaussian Splatting},
author = {Longan Wang and Yuang Shi and Wei Tsang Ooi},
journal= {arXiv preprint arXiv:2501.12060},
year = {2025}
}