PoSynDA：用于鲁棒三维人体姿态估计的多假设姿态合成域自适应
计算机视觉与模式识别
2023-10-17 v2 人工智能
多媒体
机器人学
摘要
现有的三维人体姿态估计器由于缺乏训练集中的 2D-3D 姿态对，在适应新数据集时面临挑战。为克服此问题，我们提出多假设姿态合成域自适应（PoSynDA）框架，以弥合目标域中的数据差异鸿沟。通常，PoSynDA 使用受扩散启发的结构来模拟目标域中的三维姿态分布。通过引入多假设网络，PoSynDA 生成多样的姿态假设并与目标域对齐。为此，它首先利用目标特定的源域增强，通过解耦尺度与位置参数从源域获得目标域分布数据。随后通过教师-学生范式与低秩自适应对该过程进一步精炼。通过在 Human3.6M 与 MPI-INF-3DHP 等基准上的大量对比，PoSynDA 展现出具有竞争力的性能，甚至可与目标域训练的 MixSTE 模型相媲美。本工作为三维人体姿态估计在未知域中的实际应用铺平了道路。代码见 https://github.com/hbing-l/PoSynDA。
引用
@article{arxiv.2308.09678,
title = {PoSynDA: Multi-Hypothesis Pose Synthesis Domain Adaptation for Robust 3D Human Pose Estimation},
author = {Hanbing Liu and Jun-Yan He and Zhi-Qi Cheng and Wangmeng Xiang and Qize Yang and Wenhao Chai and Gaoang Wang and Xu Bao and Bin Luo and Yifeng Geng and Xuansong Xie},
journal= {arXiv preprint arXiv:2308.09678},
year = {2023}
}
备注
Accepted to ACM Multimedia 2023; 10 pages, 4 figures, 8 tables; the code is at https://github.com/hbing-l/PoSynDA