3D$^2$-Actor: 学习姿态条件的三维感知去噪器以实现逼真的高斯化身建模
计算机视觉与模式识别
2024-12-17 v1
摘要
神经隐式表示和可微分渲染的进展显著提高了从稀疏多视角RGB视频学习可动画三维化身的能力。然而，当前将观测空间映射到规范空间的方法在捕捉姿态依赖细节和泛化到新姿态方面常常面临挑战。尽管扩散模型在二维图像生成中展现了惊人的零样本能力，但其在从二维输入创建可动画三维化身方面的潜力仍未得到充分探索。在这项工作中，我们引入了3D-Actor，一种新颖的方法，其特点是姿态条件的三维感知人体建模流水线，集成了迭代的二维去噪和三维校正步骤。由姿态线索引导的二维去噪器生成详细的多视角图像，为高保真三维重建和姿态渲染提供了丰富的特征集。作为补充，我们基于高斯的二维校正器通过两阶段投影策略和一种新颖的局部坐标表示，以增强的三维一致性渲染图像。此外，我们提出了一种创新的采样策略，以确保视频合成中帧间的平滑时间连续性。我们的方法有效解决了传统数值方法在处理病态映射时的局限性，生成了逼真且可动画的三维人体化身。实验结果表明，3D-Actor在高保真化身建模方面表现出色，并能稳健地泛化到新姿态。代码可在 https://github.com/silence-tang/GaussianActor 获取。
引用
@article{arxiv.2412.11599,
title = {3D$^2$-Actor: Learning Pose-Conditioned 3D-Aware Denoiser for Realistic Gaussian Avatar Modeling},
author = {Zichen Tang and Hongyu Yang and Hanchen Zhang and Jiaxin Chen and Di Huang},
journal= {arXiv preprint arXiv:2412.11599},
year = {2024}
}
备注
Accepted by AAAI 2025