基于交叉一致性与双重重建的无监督三维姿态迁移
计算机视觉与模式识别
2023-03-17 v3
摘要
三维姿态迁移的目标是将源网格的姿态迁移到目标网格，同时保留目标网格的身份信息（如人脸、体型）。基于深度学习的方法提升了三维姿态迁移的效率与性能。然而，其中多数方法在真实场景中获取受限的 ground truth 监督下训练。本工作中，我们提出 X-DualNet，一种简单而有效的无监督三维姿态迁移方法。在 X-DualNet 中，我们引入一个生成器 ，其包含对应学习和姿态迁移模块以实现三维姿态迁移。我们在无任何关键点标注的情况下通过求解最优传输问题学习形状对应，并在姿态迁移模块中通过弹性实例归一化（ElaIN）生成高质量网格。以 为基础组件，我们提出一种交叉一致性学习方案和双重重建目标，以在无监督下学习姿态迁移。此外，我们在训练过程中采用尽可能刚性的变形器来微调生成结果的体型。在人和动物数据上的大量实验表明，我们的框架能成功取得与最先进的监督方法相当的性能。
引用
@article{arxiv.2211.10278,
title = {Unsupervised 3D Pose Transfer with Cross Consistency and Dual Reconstruction},
author = {Chaoyue Song and Jiacheng Wei and Ruibo Li and Fayao Liu and Guosheng Lin},
journal= {arXiv preprint arXiv:2211.10278},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2109.15025