RelayGS：基于中继高斯的大规模复杂运动动态场景重建
计算机视觉与模式识别
2024-12-04 v1
摘要
大规模复杂运动的动态场景重建仍是重大挑战。最近的技术如神经辐射场(Neural Radiance Fields)和 3D 高斯消化(3DGS)虽有希望, 但在涉及大量运动的场景中仍存困难。本文提出 RelayGS, 一种基于 3DGS 的新方法, 专为表示和重建高度动态场景而设计。RelayGS 学习包含规范 3D 高斯和紧凑运动场的完整 4D 表示, 包含三个阶段。第一阶段, 我们从所有帧中学习基本 3DGS, 忽略时间场景变化, 并使用可学习掩码将高度动态前景与最小运动背景分离。第二阶段, 我们从第一阶段解耦的前景高斯复制多个副本，每个副本对应一个时间段, 并使用来自每个时间段内多个帧构建的伪视图进行优化。这些高斯称为中继高斯, 作为显式中继节点, 将大规模运动轨迹简化并分解为更小、可管理的段。最后, 我们联合学习场景的时间运动并细化第一二阶段学习的规范高斯。我们在两个包含大规模复杂运动的动态场景数据集上进行了彻底实验, 在 PSNR 上比最新技术多超过 1 dB, 并成功重建了真实世界的篮球赛场景, 以更完整、更连贯的方式呈现, 而以往方法通常难以捕捉球员的复杂运动。代码将在 https://github.com/gqk/RelayGS 上公开。
引用
@article{arxiv.2412.02493,
title = {RelayGS: Reconstructing Dynamic Scenes with Large-Scale and Complex Motions via Relay Gaussians},
author = {Qiankun Gao and Yanmin Wu and Chengxiang Wen and Jiarui Meng and Luyang Tang and Jie Chen and Ronggang Wang and Jian Zhang},
journal= {arXiv preprint arXiv:2412.02493},
year = {2024}
}
备注
Technical Report. GitHub: https://github.com/gqk/RelayGS