V$^3$：通过可流式二维动态高斯实现移动端体积视频
计算机视觉与模式识别
2024-09-24 v2 图形学
摘要
无缝体验高保真体积视频的愿望久经人世。然而，当前的动态3DGS方法尽管在渲染质量方面表现突出，却在移动设备上面临计算和带宽限制。为此，本文引入了V（Viewing Volumetric Videos），一种新方法，通过流式传输动态高斯实现高质量移动端渲染。我们的关键创新是将动态3DGS视为2D视频，从而便于使用硬件视频编解码器。此外，我们提出了两阶段训练策略以减少存储需求并实现快速训练速度。第一阶段采用哈希编码和浅层MLP学习运动，然后通过剪枝减少高斯数量以满足流式传输要求；第二阶段使用残差熵损失和时间损失对其他高斯属性进行微调，以提高时间连续性。该策略通过解耦运动和外观，维持了高质量的渲染效果并实现紧凑的存储需求。同时，我们设计了多平台播放器用于解码和渲染2D高斯视频。广泛的实验表明，V有效且有效，凭借在常见设备上实现高质量渲染和流式传输，前所未有。作为首个在移动设备上流式传输动态高斯的方法，我们的伴随播放器为用户提供了前所未有的体积视频体验，包括平滑滚动和即时共享。我们的项目页面及源代码可在https://authoritywang.github.io/v3/获取。
引用
@article{arxiv.2409.13648,
title = {V^3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians},
author = {Penghao Wang and Zhirui Zhang and Liao Wang and Kaixin Yao and Siyuan Xie and Jingyi Yu and Minye Wu and Lan Xu},
journal= {arXiv preprint arXiv:2409.13648},
year = {2024}
}