HoliGS: 用于具身视图合成的整体性高斯溶解
计算机视觉与模式识别
2025-06-25 v1
摘要
我们提出了HoliGS——一个解决从长单目RGB视频进行具身视图合成的可变形高斯溶解框架。与先前的4D高斯溶解和动态NeRF管道不同，后者在分钟级捕获期间面临训练开销问题，我们的方法利用可逆高斯溶解变形网络准确重建大规模动态环境。具体而言，我们将每个场景分解为静态背景加上由每个表示学习的高斯原始物体构成的时间变化物体，这些物体经历全局刚性变换、骨架驱动的关节运动以及通过可逆神经流的细微非刚性变形。这种层次化的扭曲策略通过将高斯附着于完整的规范前景形状(例如,以内视或第三方跟随)实现鲁棒的自由视点新视图渲染后景，这可能涉及显著的视点变化和多个演员之间的相互作用。我们的实验表明，\ourmethod~在具有挑战性的数据集上实现了优于最先进单目可变形NeRF的更高重建质量，同时显著减少了训练和渲染时间。这些结果突显了HoliGS在实际场景中为EVS提供了一种实用且可扩展的解决方案。该源代码将对外发布。
引用
@article{arxiv.2506.19291,
title = {HoliGS: Holistic Gaussian Splatting for Embodied View Synthesis},
author = {Xiaoyuan Wang and Yizhou Zhao and Botao Ye and Xiaojun Shan and Weijie Lyu and Lu Qi and Kelvin C. K. Chan and Yinxiao Li and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2506.19291},
year = {2025}
}