双流模型：面向资源受限场景的流式手势识别框架
计算机视觉与模式识别
2025-02-26 v2
摘要
在资源受限场景中实现高精度与低延迟的手势识别面临诸多挑战。本文提出的流式手势识别框架 Duo Streamers 通过三级稀疏识别机制、具备外部隐藏状态的 RNN-lite 模型，以及专门的训练与后处理管线，克服了上述困难，在实时性能和轻量化设计方面实现了创新性进展。实验结果表明，Duo Streamers 在准确率指标上与主流方法持平，同时将实时因子降低约 92.3%，即实现了近乎 13 倍的加速。此外，该框架的参数数量较主流模型在空闲状态下缩减至 1/38，在忙碌状态下缩减至 1/9。总体而言，Duo Streamers 不仅为资源受限设备上的流式手势识别提供了高效且实用的解决方案，也为多模态和多样化场景的延伸应用奠定了坚实基础。
引用
@article{arxiv.2502.12297,
title = {Duo Streamers: A Streaming Gesture Recognition Framework},
author = {Boxuan Zhu and Sicheng Yang and Zhuo Wang and Haining Liang and Junxiao Shen},
journal= {arXiv preprint arXiv:2502.12297},
year = {2025}
}
备注
10 pages, 4 figures