面向不利视角的姿态无关的 3D 高斯溅射 (UFV-Splatter)

本文提出一种面向不利输入视角的姿态无关、前馈式 3D 高斯溅射（3DGS）框架。常见的训练前馈方法的渲染设置将 3D 对象置于世界原点，并从指向原点的摄像机进行渲染——即从有利视角进行，这限制了这些模型在涉及变动和未知相机姿态的真实场景中的适用性。为克服这一限制，我们引入一种新型适应框架，使预训练的姿态无关前馈 3DGS 模型能够处理不利视角。我们通过将重定位后的图像输入到增强了低秩适应（LoRA）层的预训练模型中来利用从有利图像中学习到的先验信息。我们进一步提出了一种高斯适配器模块，用于增强从重定位输入中导出的高斯的几何一致性，同时提出了一种高斯对齐方法，以用于训练的准确目标视图渲染。此外，我们引入一种新的训练策略，该策略利用仅包含有利图像的即插即用数据集。在Google Scanned Objects 数据集的合成图像和OmniObject3D 数据集的真实图像上的实验结果表明，我们的方法在处理不利输入视角方面效果显著。