基于关键点的弱监督三维姿态迁移
计算机视觉与模式识别
2023-08-21 v2
摘要
三维姿态迁移的主要挑战是：1）缺乏由不同角色执行相同姿态的配对训练数据；2）从目标网格中解耦姿态与形状信息；3）难以应用于具有不同拓扑的网格。为此，我们提出一种新颖的基于关键点的弱监督框架以克服这些困难。具体而言，我们使用具有逆运动学的拓扑无关关键点检测器来计算源网格与目标网格之间的变换。我们的方法仅需要对关键点进行监督，可应用于具有不同拓扑的网格，并且对目标是形状不变的，从而允许从目标网格中提取仅姿态信息而不迁移形状信息。我们进一步设计了一种循环重建，以执行自监督姿态迁移，而无需分别与目标和源具有相同姿态与形状的地面真实变形网格。我们在基准人体与动物数据集上评估了我们的方法，与最先进的（SOTA）无监督方法相比取得了优越性能，甚至可与全监督方法相媲美。我们在更具挑战性的 Mixamo 数据集上测试，以验证我们的方法处理不同拓扑网格与复杂衣物的能力。跨数据集评估进一步展示了我们方法的强泛化能力。
引用
@article{arxiv.2307.13459,
title = {Weakly-supervised 3D Pose Transfer with Keypoints},
author = {Jinnan Chen and Chen Li and Gim Hee Lee},
journal= {arXiv preprint arXiv:2307.13459},
year = {2023}
}
备注
Accepted to ICCV 2023, Project page: https://jinnan-chen.github.io/ws3dpt/