SwinGS：用于任意长度体积视频流的滑动窗口高斯溅写
多媒体
2025-04-22 v3 计算机视觉与模式识别
摘要
近期发展的3D高斯溅写（3DGS）因其高渲染速度和卓越质量而在计算机视觉和计算机图形领域引起广泛关注。虽然既有研究努力将3DGS的应用从静态场景扩展到动态场景，但这些努力一直受到模型大小过大、视频时长受限以及内容偏离等问题的制约。这些限制显著削弱了动态3D高斯模型的可流式传输能力，从而限制了其在下游应用中的实用性，包括体积视频、自动驾驶以及虚拟、增强和混合现实等沉浸式技术。本文引入了SwinGS，这是一个用于训练、传输和实时流式渲染体积视频的新型框架。为解决上述挑战并增强可流式传输能力，SwinGS将时空高斯与蒙特卡洛链采样（MCMC）相集成，以适应跨帧的各种3D场景，同时采用滑动窗口以累积方式捕获每个帧的高斯快照。我们实现了SwinGS的一个原型，并在各种数据集和场景上展示了其可流式传输能力。此外，我们开发了一个交互式WebGL查看器，使大多数现代浏览器支持的设备（包括智能手机和平板）能够实时播放体积视频。实验结果表明，SwinGS相对于先前工作可降低最高可达83.6%的传输成本，并且可以轻松扩展到任意长度的体积视频，而无需增加所需的GPU资源。
引用
@article{arxiv.2409.07759,
title = {SwinGS: Sliding Window Gaussian Splatting for Volumetric Video Streaming with Arbitrary Length},
author = {Bangya Liu and Suman Banerjee},
journal= {arXiv preprint arXiv:2409.07759},
year = {2025}
}