面向野外人体网格恢复的领域自适应三维姿态增强
计算机视觉与模式识别
2022-09-15 v2
摘要
从单张图像感知三维人体的能力在从娱乐和机器人到神经科学与医疗的众多应用中具有广泛用途。人体网格恢复的一个基本挑战在于采集训练所需的真实三维网格目标，这需要繁重的动作捕捉系统且常局限于室内实验室。因此，尽管在这些受限环境下采集的基准数据集上取得了进展，但由于分布偏移，模型无法泛化到真实世界“野外”场景。我们提出领域自适应三维姿态增强（DAPA），一种增强模型在野外场景泛化能力的数据增强方法。DAPA 结合了基于合成数据集方法的优势（从合成网格获得直接监督）与领域自适应方法的优势（使用来自目标数据集的真实二维关键点）。我们从定量上表明，用 DAPA 微调有效改善了在基准 3DPW 和 AGORA 上的结果。我们进一步在从真实世界亲子互动视频中整理的具挑战性数据集上展示了 DAPA 的效用。
引用
@article{arxiv.2206.10457,
title = {Domain Adaptive 3D Pose Augmentation for In-the-wild Human Mesh Recovery},
author = {Zhenzhen Weng and Kuan-Chieh Wang and Angjoo Kanazawa and Serena Yeung},
journal= {arXiv preprint arXiv:2206.10457},
year = {2022}
}