MovePose:一种面向移动与边缘设备的高性能人体姿态估计算法
计算机视觉与模式识别
2024-07-25 v4 机器学习
摘要
我们提出 MovePose,一种专为基于 CPU 的移动设备上的实时人体姿态估计而优化的轻量卷积神经网络。当前方案在人体姿态估计的精度与速度上不能令人满意,MovePose 弥补了这一不足。其旨在保持实时性能的同时,提升移动设备人体姿态估计的精度。我们的 MovePose 算法在 COCO \cite{cocodata} 验证数据集上取得了 68.0 的平均精度均值(mAP)。MovePose 算法在 Intel i9-10920x CPU 上以 69+ 帧每秒(fps)的性能展现了效率。此外,在 NVIDIA RTX3090 GPU 上其性能提升至 452+ fps。在搭载骁龙 8 + 4G 处理器的安卓手机上,fps 达到 11 以上。为提升精度,我们引入了三种技术:反卷积、大核卷积与坐标分类方法。与基础上采样相比,反卷积可训练,提升模型容量并增强感受野。大核卷积以更低的计算成本强化了这些特性。总之,MovePose 提供高精度与实时性能,使其成为多种应用(包括移动端人体姿态估计)的潜在工具。该算法的代码与模型将公开可用。
引用
@article{arxiv.2308.09084,
title = {MovePose: A High-performance Human Pose Estimation Algorithm on Mobile and Edge Devices},
author = {Dongyang Yu and Haoyue Zhang and Ruisheng Zhao and Guoqi Chen and Wangpeng An and Yanhong Yang},
journal= {arXiv preprint arXiv:2308.09084},
year = {2024}
}
备注
This paper has been accepted by ICANN 2024 and is an oral presentation