ICON: 从法线获取隐式着装人体
摘要
当前学习逼真且可动画化的三维着装虚拟人的方法，需要有特定姿态的三维扫描数据，或具有精心控制用户姿态的二维图像。相反，我们的目标是仅从处于无约束姿态的人的二维图像中学习虚拟人。给定一组图像，我们的方法从每张图像中估计详细的三维表面，然后将它们组合成一个可动画化的虚拟人。隐式函数非常适合第一个任务，因为它们能够捕捉头发和衣服等细节。然而，当前的方法对各种人体姿态不具有鲁棒性，经常产生带有断肢或肢体分离、细节缺失或非人形状的三维表面。问题在于这些方法使用了对全局姿态敏感的全局特征编码器。为了解决这个问题，我们提出了 ICON（Implicit Clothed humans Obtained from Normals），它改用局部特征。ICON 有两个主要模块，均利用了 SMPL(-X) 身体模型。首先，ICON 以 SMPL(-X) 法线为条件推断详细的着装人体法线（正面/背面）。其次，一个感知可见性的隐式表面回归器生成人体占据场的等值面。重要的是，在推理时，反馈循环交替进行：利用推断出的着装法线细化 SMPL(-X) 网格，随后再细化法线。给定处于不同姿态的同一对象的多个重建帧，我们使用 SCANimate 从中生成可动画化的虚拟人。在 AGORA 和 CAPE 数据集上的评估表明，即使在训练数据严重受限的情况下，ICON 在重建方面也优于现有技术。此外，它对分布外样本（例如，自然场景姿态/图像和画面外裁剪）具有更强的鲁棒性。ICON 朝着从自然场景图像中进行鲁棒的三维着装人体重建迈出了一步。这使得能够直接从视频中创建具有个性化且自然的姿态相关衣物形变的虚拟人。
引用
@article{arxiv.2112.09127,
title = {ICON: Implicit Clothed humans Obtained from Normals},
author = {Yuliang Xiu and Jinlong Yang and Dimitrios Tzionas and Michael J. Black},
journal= {arXiv preprint arXiv:2112.09127},
year = {2022}
}
备注
Project page: https://icon.is.tue.mpg.de/. Accepted by CVPR 2022