基于结构解耦与双对抗判别的半监督手部外观恢复
计算机视觉与模式识别
2023-03-14 v1
摘要
通过基于标记的运动捕捉（MoCap）收集了大量带有可靠标注的手部图像。遗憾的是，由标记引起的退化限制了它们在手部外观重建中的应用。一个清晰的外观恢复思路是利用非配对数据训练的图像到图像翻译。然而，大多数框架失败，因为从退化手到裸手存在结构不一致。我们方法的核心是先将这些退化图像中的裸手结构解耦，然后通过双对抗判别（DAD）方案将外观包裹到该结构上。两个模块都充分利用了半监督学习范式：结构解耦受益于 ViT 的建模能力，翻译器通过对翻译过程和翻译结果的双重判别得到增强。我们进行了全面的评估，证明我们的框架能够从多样的含标记甚至物体遮挡的数据集中鲁棒地恢复照片级真实的手部外观。它为其他下游学习问题获取裸手外观数据提供了一条新途径。代码将公开于 https://www.yangangwang.com
引用
@article{arxiv.2303.06380,
title = {Semi-supervised Hand Appearance Recovery via Structure Disentanglement and Dual Adversarial Discrimination},
author = {Zimeng Zhao and Binghui Zuo and Zhiyu Long and Yangang Wang},
journal= {arXiv preprint arXiv:2303.06380},
year = {2023}
}
备注
Accepted by CVPR2023