RTMO：面向高性能单阶段实时多人姿态估计
计算机视觉与模式识别
2024-04-09 v2
摘要
实时多人姿态估计在平衡速度与精度方面面临重大挑战。两阶段自顶向下方法随图像中人数增加而变慢，而现有单阶段方法往往无法同时提供高精度和实时性能。本文介绍RTMO，一种单阶段姿态估计框架，通过在YOLO架构内使用双1-D热图表示关键点来无缝集成坐标分类，实现了与自顶向下方法相当的精度，同时保持高速。我们提出了一个动态坐标分类器和一个针对热图学习的定制损失函数，专门用于解决坐标分类与密集预测模型之间的不兼容性。RTMO优于最先进的单阶段姿态估计器，在COCO上AP提高1.1%，同时使用相同骨干网络时速度快约9倍。我们的最大模型RTMO-l在COCO val2017上达到74.8% AP，在单个V100 GPU上达到141 FPS，展示了其效率和精度。代码和模型可在https://github.com/open-mmlab/mmpose/tree/main/projects/rtmo获取。
引用
@article{arxiv.2312.07526,
title = {RTMO: Towards High-Performance One-Stage Real-Time Multi-Person Pose Estimation},
author = {Peng Lu and Tao Jiang and Yining Li and Xiangtai Li and Kai Chen and Wenming Yang},
journal= {arXiv preprint arXiv:2312.07526},
year = {2024}
}
备注
Accepted at CVPR 2024. Project page: https://github.com/open-mmlab/mmpose/tree/main/projects/rtmo