基于动态 3D 高斯溶解的彩色自适应体积视频流——CAGS
图形学
2026-05-12 v1 计算机视觉与模式识别
多媒体
网络与互联网体系结构
图像与视频处理
摘要
体积视频 (VV) 流式传输 enables real-time, immersive access to remote 3D 环境，为 telepresence、生态监测和机器人远程操作提供了可能。这些应用将 VV 流式传输变为访问远程物理环境的实时接口，提出了新的系统层面需求：实现逼真的场景表示、低延迟交互以及在异构网络下的稳健性能。3D 高斯溶解 (3DGS) 已被广泛用于实现实时逼真渲染，凭借优异的视觉质量和渲染性能，但因带宽消耗面临挑战。此外，作为自适应 VV 流式传输的基础，现有的基于密度的层次细节 (LoD) 方法不适用于高斯表示，导致可见的间隙和严重的质量退化。近期研究还探索了属性压缩技术以减少带宽消耗。我们的初步研究表明，激进的属性压缩主要导致颜色失真，而这可以在渲染图像中使用参考图像有效校正。基于此，我们提出一种新颖的 Color-Adaptive scheme for adaptive VV streaming，该方案使用向量量化 (VQ) 建立 LoD 并用低分辨率参考图像校正颜色失真。我们进一步提出 CAGS—an 一种兼容多种高斯表示的自适应 VV 流式传输系统，该系统在流式传输服务器上渲染参考图像，在客户端执行颜色恢复。大量实验在我们的原型系统上表明，CAGS 在波动带宽下以 5~20 dB 的提升优于现有自适应流式传输系统，显著快于现有可扩展的高斯压缩方法，同时跨不同高斯表示具有良好泛化性。
引用
@article{arxiv.2605.09279,
title = {CAGS: Color-Adaptive Volumetric Video Streaming with Dynamic 3D Gaussian Splatting},
author = {Daheng Yin and Yili Jin and Jianxin Shi and Isaac Ding and Miao Zhang and Fangxin Wang and Zhaowu Huang and Cong Zhang and Jiangchuan Liu and Fang Dong},
journal= {arXiv preprint arXiv:2605.09279},
year = {2026}
}
备注
SIGGRAPH 2026 Conference Paper. Code is available at https://github.com/yindaheng98/ColorAdaptiveGaussianSplatting