LitePose：面向2D人体姿态估计的高效架构设计
计算机视觉与模式识别
2022-07-12 v4
摘要
姿态估计在以人为中心的视觉应用中起着关键作用。然而，由于计算成本高（每帧超过150 GMACs），难以在资源受限的边缘设备上部署最先进的基于HRNet的姿态估计模型。本文研究面向边缘端实时多人姿态估计的高效架构设计。我们通过逐步收缩实验揭示，在低计算量区间，HRNet的高分辨率分支是冗余的。移除它们可同时提升效率与性能。受此发现启发，我们设计了LitePose，一种用于姿态估计的高效单分支架构，并引入两种简单方法来增强LitePose的能力，包括融合反卷积头（Fusion Deconv Head）与大核卷积（Large Kernel Convs）。融合反卷积头消除了高分辨率分支中的冗余，以低开销实现尺度感知特征融合。大核卷积在保持低计算成本的同时显著提升了模型的容量与感受野。仅增加25%计算量，在CrowdPose数据集上7×7核比3×3核取得+14.0 mAP的提升。在移动平台上，与先前最先进的高效姿态估计模型相比，LitePose在不牺牲性能的前提下将延迟降低多达5.0倍，推动了边缘端实时多人姿态估计的前沿。我们的代码与预训练模型发布于 https://github.com/mit-han-lab/litepose。
引用
@article{arxiv.2205.01271,
title = {Lite Pose: Efficient Architecture Design for 2D Human Pose Estimation},
author = {Yihan Wang and Muyang Li and Han Cai and Wei-Ming Chen and Song Han},
journal= {arXiv preprint arXiv:2205.01271},
year = {2022}
}
备注
11 pages