稀疏视角高斯溅写的固有几何-外观一致性优化
计算机视觉与模式识别
2026-03-04 v1
摘要
3D 人类重建从单张图像是一个具有挑战性的问题且在文献中仅被专门研究。最近，一些方法求助于扩散模型，以 Score Distillation Sampling (SDS) 或生成背视图像来辅助重建。然而，这些方法倾向于产生不可满意的痕迹（例如压平的人体结构或因多视角 prior 不一致导致的过平滑结果），并在野外难以实现实际泛化。在本工作中，我们提出 \emph{MVD-HuGaS}，通过多视角人类扩散模型实现从单张图像进行自由视角 3D 人类渲染。我们首先通过增强的多视角扩散模型生成多视角图像，该模型在高质量 3D 人类数据集上进行精细调优，以纳入 3D 几何 prior 和人类结构 prior。为从稀疏生成的多视角图像中推断准确的相机位姿以进行重建，引入一个对齐模块以协同优化 3D 高斯和相机位姿。此外，我们提出基于深度的面部畸变缓解模块以细化生成的面部区域，从而提高重建的整体保真度。最后，利用细化后的多视角图像及其准确的相机位姿，MVD-HuGaS 对目标人类的 3D 高斯进行高保真自由视角渲染。在 Thuman2.0 和 2K2K 数据集上的大量实验表明，所提出的 MVD-HuGaS 在单视角 3D 人类渲染方面实现了最佳性能。
引用
@article{arxiv.2603.02893,
title = {Intrinsic Geometry-Appearance Consistency Optimization for Sparse-View Gaussian Splatting},
author = {Kaiqiang Xiong and Rui Peng and Jiahao Wu and Zhanke Wang and Jie Liang and Xiaoyun Zheng and Feng Gao and Ronggang Wang},
journal= {arXiv preprint arXiv:2603.02893},
year = {2026}
}