MamKPD：基于Mamba的实时2D关键点检测简单基线
计算机视觉与模式识别
2024-12-03 v1
摘要
实时2D关键点检测是计算机视觉中的关键任务。虽然CNN和Transformer方法已取得突破性进展，但往往难以在性能和实时速度之间取得平衡。本文介绍MamKPD，即首个高效且有效的基于Mamba的姿态估计框架，用于2D关键点检测。常规Mamba模块在 patch 之间 exhibits（表现）有限的信息交互。为此，我们提出了一个轻量级情境建模模块（CMM），使用深度可分离卷积建模 patch 之间的相互依赖关系，并通过线性层提炼每个 patch 中的姿态线索。随后，结合Mamba用于所有 patch 之间的全局建模，MamKPD有效地提取了实例的姿态信息。我们在人类和动物姿态估计数据集上进行了大量实验，以验证MamKPD的有效性。MamKPD-L在COCO数据集上实现77.3%的平均精度（AP），在NVIDIA GTX 4090 GPU上达到1492 FPS。此外，MamKPD在MPII数据集上实现了状态方法，同时在AP-10K数据集上取得具竞争力的结果，参数数量减少了85%。我们的项目页面位于https://mamkpd.github.io/。
引用
@article{arxiv.2412.01422,
title = {MamKPD: A Simple Mamba Baseline for Real-Time 2D Keypoint Detection},
author = {Yonghao Dang and Liyuan Liu and Hui Kang and Ping Ye and Jianqin Yin},
journal= {arXiv preprint arXiv:2412.01422},
year = {2024}
}