神经人体形变迁移
计算机视觉与模式识别
2023-04-03 v4
摘要
我们考虑人体形变迁移问题，其目标是在不同角色间重定向姿态。解决该问题的传统方法需要清晰定义姿态，并利用该定义在角色间迁移姿态。在本工作中，我们采取不同方法，在不修改角色姿态的情况下将其身份转换为新身份。这带来了无需定义三维人体姿态间等价性的优势，而该等价性并不直观，因为姿态往往随执行角色的身份而变化，且其含义高度依赖上下文。为实现形变迁移，我们提出一种神经编码器-解码器架构，其中仅编码身份信息，解码器以姿态为条件。我们使用与姿态无关的表示，如等距不变形状特征，来表示身份特征。我们的模型利用这些特征监督从形变姿态到迁移结果的偏移量预测。我们通过实验表明，该方法在定量与定性上均优于最先进方法，并对训练时未见的姿态具有更好的泛化能力。我们还引入一个微调步骤，可对极端身份取得有竞争力的结果，并能够迁移简单衣物。
引用
@article{arxiv.2109.01588,
title = {Neural Human Deformation Transfer},
author = {Jean Basset and Adnane Boukhayma and Stefanie Wuhrer and Franck Multon and Edmond Boyer},
journal= {arXiv preprint arXiv:2109.01588},
year = {2023}
}