用于人体姿态估计的轻量级超分辨率头
计算机视觉与模式识别
2023-08-01 v1
摘要
基于热图的方法因其优越性能已成为姿态估计的主流方法。然而，基于热图的方法在降采样热图下存在显著的量化误差，导致性能受限并带来中间监督的负面影响。以往的基于热图的方法严重依赖额外的后处理来缓解量化误差。一些基于热图的方法通过使用多个高代价的上采样层来提高特征图分辨率以改善定位精度。为解决上述问题，我们创造性地将骨干网络视为退化过程，从而将热图预测重新表述为超分辨率（SR）任务。我们首先提出 SR 头，通过超分辨率预测空间分辨率高于输入特征图（甚至与输入图像一致）的热图，以有效减少量化误差及对进一步后处理的依赖。此外，我们提出 SRPose，以由粗到精的方式从低分辨率热图和退化特征中逐步恢复高分辨率热图。为降低高分辨率热图的训练难度，SRPose 在各阶段应用 SR 头监督中间特征。另外，SR 头是一种轻量级通用头，适用于自顶向下与自底向上方法。在 COCO、MPII 和 CrowdPose 数据集上的大量实验表明，SRPose 优于相应的基于热图的方法。代码与模型见 https://github.com/haonanwang0522/SRPose。
引用
@article{arxiv.2307.16765,
title = {Lightweight Super-Resolution Head for Human Pose Estimation},
author = {Haonan Wang and Jie Liu and Jie Tang and Gangshan Wu},
journal= {arXiv preprint arXiv:2307.16765},
year = {2023}
}
备注
ACM MM 2023 accepted