中文

HumanNeRF-SE:以多样姿态驱动 HumanNeRF 的一种简单而有效的方法

计算机视觉与模式识别 2024-04-05 v2

摘要

我们提出了 HumanNeRF-SE,一种简单而有效的方法,能够以简单输入合成多样的新姿态图像。先前的 HumanNeRF 工作需要大量可优化参数来拟合人体图像。相反,我们通过结合显式与隐式人体表示重新审视这些方法,以设计通用的刚性形变与特定的非刚性形变。我们的关键洞察是,显式形状可以减少用于拟合隐式表示的采样点,并且由 SMPL 构建的冻结混合权重所构成的通用刚性形变可以有效避免过拟合并提升姿态泛化性能。我们涉及显式与隐式表示的架构简单而有效。实验表明,我们的模型能够在少样本输入下合成任意姿态的图像,并且在不使用任何现有加速模块的情况下,通过降低计算复杂度将图像合成速度提升了 15 倍。与最先进的 HumanNeRF 研究相比,HumanNeRF-SE 以更少的可学习参数与更短的训练时间实现了更好的性能。

关键词

引用

@article{arxiv.2312.02232,
  title  = {HumanNeRF-SE: A Simple yet Effective Approach to Animate HumanNeRF with Diverse Poses},
  author = {Caoyuan Ma and Yu-Lun Liu and Zhixiang Wang and Wu Liu and Xinchen Liu and Zheng Wang},
  journal= {arXiv preprint arXiv:2312.02232},
  year   = {2024}
}

备注

16pages, 17 figures, 10 tables