中文

NICP:用于大规模 3D 人体配准的神经 ICP

计算机视觉与模式识别 2024-07-23 v3

摘要

将模板对齐到 3D 人体点云是一个长期存在的问题,对于动画、重建和启用监督学习流程等任务至关重要。最近的数据驱动方法利用了预测的表面 correspondence。然而,它们对各种姿态、身份或噪声缺乏鲁棒性。相比之下,工业解决方案通常依赖昂贵的手动标注或多视角捕捉系统。最近,神经场已显示出令人鼓舞的结果。尽管如此,它们纯粹的数据驱动和外在性质并未包含任何指向目标表面的引导,往往导致模板配准的平凡错位。目前,没有任何方法可被视为 3D 人体配准的标准,这限制了下流应用的可扩展性。在这项工作中,我们提出了一种神经可扩展配准方法 NSR,这是一个首次能在数千种形状和十多个不同数据源上进行泛化和扩展的流程。我们的核心贡献是 NICP,这是一种专为神经场量身定制的类 ICP 自监督任务。NSR 仅需几秒钟,是自监督的,并且可以直接在预训练的神经场上运行。NSR 将 NICP 与在大型动作捕捉 (MoCap) 数据集上训练的局部神经场相结合,在公共基准测试中达到了最先进水平。我们代码和检查点的发布为数据集对齐、清理或资产动画等许多下游任务提供了强大的工具。

关键词

引用

@article{arxiv.2312.14024,
  title  = {NICP: Neural ICP for 3D Human Registration at Scale},
  author = {Riccardo Marin and Enric Corona and Gerard Pons-Moll},
  journal= {arXiv preprint arXiv:2312.14024},
  year   = {2024}
}

备注

Accepted at ECCV 2024