基于对抗学习的鲁棒3D姿态迁移
计算机视觉与模式识别
2024-04-04 v1
摘要
旨在将目标姿态迁移到目标网格上的3D姿态迁移是最具挑战性的3D生成任务之一。以往的尝试依赖于定义良好的参数化人体模型或骨骼关节作为驱动姿态源。然而，为了获得这些干净的姿态源，繁琐但必要的预处理流程不可避免，这阻碍了实时应用的实现。本工作基于这样一种直觉：通过在训练中引入对抗样本，可以增强模型的鲁棒性，使模型对噪声输入更加不易受攻击，甚至可以进一步扩展到直接处理现实世界数据（如原始点云/扫描数据）而无需中间处理。此外，我们提出了一种新颖的3D姿态掩码自编码器（3D-PoseMAE），这是一种定制的MAE，能够有效学习3D外在表示（即姿态）。3D-PoseMAE通过多尺度掩码策略同时生成扰动模型的对抗样本并学习任意原始噪声姿态，从而促进了从外在属性方面的学习。定性和定量研究均表明，我们的网络给出的迁移网格具有更好的质量。此外，我们展示了我们的方法在各种姿态、不同域甚至原始扫描数据上的强泛化能力。实验结果还表明了有意义的见解：训练中生成的中间对抗样本可以成功攻击现有的姿态迁移模型。
引用
@article{arxiv.2404.02242,
title = {Towards Robust 3D Pose Transfer with Adversarial Learning},
author = {Haoyu Chen and Hao Tang and Ehsan Adeli and Guoying Zhao},
journal= {arXiv preprint arXiv:2404.02242},
year = {2024}
}
备注
CVPR 2024