DANBO：基于图神经网络的解耦关节化神经人体表征
计算机视觉与模式识别
2022-10-13 v2
摘要
深度学习通过从 3D 扫描、模板网格和多视角图像集合中学习几何与外观，极大提升了可动画人体模型的真实感。高分辨率模型实现了照片级真实头像，但代价是需要终端用户无法获得的 studio 设置。我们的目标是从原始图像直接创建头像，而不依赖昂贵的 studio 设置和表面跟踪。虽然已有少数此类方法，但它们泛化能力有限，且容易学习无关身体部位之间的虚假（偶然）相关性，导致在不常见姿态下出现不合理形变和缺失身体部位。我们引入了一种三阶段方法，引入两种归纳偏置以更好地解耦姿态相关形变。首先，我们用图神经网络显式建模身体部位间的相关性。其次，为进一步减弱偶然相关性的影响，我们引入局部化逐骨骼特征，其使用因子化体表示和一种新的聚合函数。我们证明我们的模型在具有挑战性的未见姿态下生成真实人体形状，并展现高质量图像合成。我们提出的表征在模型容量、表达力与鲁棒性之间取得了优于竞争方法的更好权衡。项目网站：https://lemonatsu.github.io/danbo。
引用
@article{arxiv.2205.01666,
title = {DANBO: Disentangled Articulated Neural Body Representations via Graph Neural Networks},
author = {Shih-Yang Su and Timur Bagautdinov and Helge Rhodin},
journal= {arXiv preprint arXiv:2205.01666},
year = {2022}
}
备注
ECCV 2022. Project website: https://lemonatsu.github.io/danbo