RoGSplat: 从稀疏多视角图像学习鲁棒可泛化的人体高斯溅射
计算机视觉与模式识别
2025-03-19 v1
摘要
本文提出了RoGSplat，一种从稀疏多视角图像合成未见人体高保真新视角的方法，且无需繁琐的逐主体优化。与以往通常难以处理重叠较少稀疏视图、且在重建复杂人体几何方面效果不佳的方法不同，所提方法能够在此类挑战性条件下实现鲁棒重建。我们的核心思想是将SMPL顶点提升为表示精确人体几何的密集可靠3D先验点，然后基于这些点回归人体高斯参数。为应对SMPL模型与图像之间可能存在的错位，我们利用像素级特征与体素级特征共同预测图像对齐的3D先验点，并从中回归粗粒度高斯。为增强捕捉高频细节的能力，我们进一步从粗粒度3D高斯渲染深度图，以辅助回归细粒度像素级高斯。在多个基准数据集上的实验表明，我们的方法在新视角合成和跨数据集泛化方面优于现有最先进方法。我们的代码可在 https://github.com/iSEE-Laboratory/RoGSplat 获取。
引用
@article{arxiv.2503.14198,
title = {RoGSplat: Learning Robust Generalizable Human Gaussian Splatting from Sparse Multi-View Images},
author = {Junjin Xiao and Qing Zhang and Yonewei Nie and Lei Zhu and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2503.14198},
year = {2025}
}
备注
Accepted to CVPR2025