Toy-GS：用于精确渲染大规模自由相机轨迹的局部高斯组装
计算机视觉与模式识别
2024-12-16 v1
摘要
当前，针对大规模自由相机轨迹（即任意输入相机轨迹）的 3D 渲染面临着显著挑战：1）相机的分布和观察角度不规则，自由轨迹中包含各种类型的场景；2）处理大规模场景的整个点云和所有图像一次性需要大量 GPU 内存。本文提出了 Toy-GS 方法，用于精确渲染大规模自由相机轨迹。具体而言，我们提出了一种用于自由轨迹的自适应空间划分方法，将相机和稀疏点云根据相机姿态划分为多个区域。为每个区域并行训练每个局部高斯，我们能够集中注意力处理纹理细节并最小化 GPU 内存使用。接下来，我们使用多视角约束和位置感知点自适应控制（PPAC）来提高纹理细节的渲染质量。此外，我们的区域融合方法将局部和全局高斯组合起来，以增加划分区域的数量来增强渲染质量。进行了大量实验，确认了 Toy-GS 的有效性和效率，使其在两个公开的大规模数据集以及我们的 SCUTic 数据集上均达到最先进的结果。与各种基准方法相比，Toy-GS 在 PSNR 上提高了 1.19 dB，节省了 7 GB 的 GPU 内存。
引用
@article{arxiv.2412.10078,
title = {Toy-GS: Assembling Local Gaussians for Precisely Rendering Large-Scale Free Camera Trajectories},
author = {Xiaohan Zhang and Zhenyu Sun and Yukui Qiu and Junyan Su and Qi Liu},
journal= {arXiv preprint arXiv:2412.10078},
year = {2024}
}