稀疏视图下的通用人类高斯模型
计算机视觉与模式识别
2024-07-18 v1 图形学
摘要
近期神经渲染技术涌现出诸如NeRF和高斯溶解等开创性方法,在AR/VR、游戏和内容创作等领域实现了视图渲染的突破。虽然这些方法在训练数据内部的插值方面表现出色，但从稀疏视图推广到新场景和新物体的挑战仍然存在。特别是,从稀疏视图建模3D人类几何困难重大,导致几何和纹理重建不准确。为此,本文利用高斯溶解的最新进展,引入一种新方法以学习通用人类高斯模型,允许从有限稀疏视图以前馈方式实现人物的照片实在且准确的视图渲染。我们方法的关键创新在于将3D高斯参数的学习重新定义为在人类模板的2D UV空间上的回归过程,这允许利用强几何先验和2D卷积的优势。此外,我们提出多支架表示以有效表示细节偏移量。我们的方法在within数据集泛化和cross数据集泛化设置下均优于最新方法。
引用
@article{arxiv.2407.12777,
title = {Generalizable Human Gaussians for Sparse View Synthesis},
author = {Youngjoong Kwon and Baole Fang and Yixing Lu and Haoye Dong and Cheng Zhang and Francisco Vicente Carrasco and Albert Mosella-Montoro and Jianjin Xu and Shingo Takagi and Daeil Kim and Aayush Prakash and Fernando De la Torre},
journal= {arXiv preprint arXiv:2407.12777},
year = {2024}
}