利用调节机制协同回归具有表情的人体
计算机视觉与模式识别
2021-10-19 v2
摘要
从图像中恢复具有表情的人体对于理解人类行为至关重要。估计三维身体、面部或手的方法已取得显著进展，但都是分别进行的。面部方法能恢复精确的三维形状和几何细节，但需要紧密裁剪，且在极端视角和低分辨率下表现不佳。全身方法对大范围姿态和分辨率具有鲁棒性，但仅提供粗糙的三维面部形状，缺乏皱纹等细节。为了兼得二者之长，我们提出 PIXIE，可从单张图像生成带有逼真面部细节、可动画的全身三维虚拟形象。为此，PIXIE 基于两个关键观察。首先，现有工作通过平等信任身体、面部和手部专家的独立估计并将其组合。PIXIE 引入一种新颖的调节器，按置信度加权融合各专家的特征。所有部位专家均可利用 SMPL-X 跨身体各部位的共享形状空间对整体做出贡献。其次，人体形状与性别高度相关，但现有工作忽略了这一点。我们将训练图像标注为男性、女性或非二元性别，并训练 PIXIE 以新颖的形状损失推断“带性别属性”的三维身体形状。除三维身体姿态和形状参数外，PIXIE 还估计表情、光照、反照率以及三维面部表面位移。定量与定性评估表明，PIXIE 比当前最优方法估计出更准确的全身形状和精细面部形状。模型和代码见 https://pixie.is.tue.mpg.de。
引用
@article{arxiv.2105.05301,
title = {Collaborative Regression of Expressive Bodies using Moderation},
author = {Yao Feng and Vasileios Choutas and Timo Bolkart and Dimitrios Tzionas and Michael J. Black},
journal= {arXiv preprint arXiv:2105.05301},
year = {2021}
}
备注
21 pages. The first two authors contributed equally to this work