用于二维人体姿态估计的学习结构引导扩散模型
计算机视觉与模式识别
2023-06-30 v1 人工智能
摘要
二维人体姿态估计（HPE）的主流方案之一是通过神经网络学习关键点热图。现有方法通常通过定制架构（如高分辨率表示和视觉Transformer）来提高热图质量。在本文中，我们提出\textbf{DiffusionPose}，一种将二维HPE表述为从加噪热图生成关键点热图的新方案。在训练期间，关键点通过加噪扩散到随机分布，扩散模型学习根据由图像特征构建的条件从加噪热图中恢复真实热图。在推理期间，扩散模型以渐进去噪的方式从初始化热图生成热图。此外，我们进一步探索利用来自人体结构信息的条件来改进DiffusionPose的性能。大量实验展示了我们的DiffusionPose的威力，在广泛使用的COCO、CrowdPose和AI Challenge数据集上分别提升了1.6、1.2和1.2 mAP。
引用
@article{arxiv.2306.17074,
title = {Learning Structure-Guided Diffusion Model for 2D Human Pose Estimation},
author = {Zhongwei Qiu and Qiansheng Yang and Jian Wang and Xiyu Wang and Chang Xu and Dongmei Fu and Kun Yao and Junyu Han and Errui Ding and Jingdong Wang},
journal= {arXiv preprint arXiv:2306.17074},
year = {2023}
}