NCHO：用于人与物体神经三维组合的无监督学习
计算机视觉与模式识别
2023-05-30 v2
摘要
深度生成模型近来已被扩展到合成三维数字人体。然而，先前的方法将着装人体视为一块整体几何，而不考虑服装与配饰的组合性。因此，单个物品无法自然地组合成新的身份，导致生成式三维虚拟形象的表现力与可控性有限。尽管若干方法试图通过利用合成数据来解决这一问题，但由于领域鸿沟，人与物体之间的交互并不真实，且手动资产创建难以扩展到种类繁多的物体。在本工作中，我们提出一种新颖的框架，用于从真实世界三维扫描中学习人与物体（背包、外套、围巾等）的组合式生成模型。我们的组合模型具有交互感知能力，即人与物体之间的空间关系以及由物理接触引起的相互形状变化被充分纳入。关键挑战在于，由于人与物体相接触，它们的三维扫描被合并为单一整体。为了在无需手动标注的情况下将其分解，我们提出利用同一人在有物体和无物体时的两组三维扫描。我们的方法以无监督方式学习分解物体并将其自然地组合回生成式人体模型。尽管我们的简单设置仅需捕获一个带物体的受试者，我们的实验表明该模型具有很强的泛化能力，能够将物体自然组合到各种姿态下的不同身份上，并组合多个物体，而这些在训练数据中未见。https://taeksuu.github.io/ncho/
引用
@article{arxiv.2305.14345,
title = {NCHO: Unsupervised Learning for Neural 3D Composition of Humans and Objects},
author = {Taeksoo Kim and Shunsuke Saito and Hanbyul Joo},
journal= {arXiv preprint arXiv:2305.14345},
year = {2023}
}
备注
The project page is available at https://taeksuu.github.io/ncho/