嵌入式平台上的实时人体动作识别
计算机视觉与模式识别
2025-09-03 v2 人工智能
机器学习
摘要
随着计算机视觉和深度学习的进步，基于视频的人体动作识别（HAR）已变得切实可行。然而，由于计算流水线的复杂性，在嵌入式平台上对实时视频流运行 HAR 会产生过多的延迟。本工作通过四项贡献解决了 HAR 的实时性能挑战：1) 一项实验研究，将标准光流（OF）提取技术确定为最先进 HAR 流水线中的延迟瓶颈；2) 探索标准方法与深度学习方法在 OF 提取上的延迟-准确度权衡，突出了对一种新型高效运动特征提取器的需求；3) 设计了集成运动特征提取器（IMFE），一种用于运动特征提取的新型单次神经网络架构，在延迟方面有显著改善；4) 开发了 RT-HARE，一个专为嵌入式平台定制的实时 HAR 系统。在 Nvidia Jetson Xavier NX 平台上的实验结果表明，RT-HARE 在每秒 30 帧的视频帧率下实现了实时 HAR，同时提供了高水平的识别准确度。
引用
@article{arxiv.2409.05662,
title = {Real-Time Human Action Recognition on Embedded Platforms},
author = {Ruiqi Wang and Zichen Wang and Peiqi Gao and Mingzhen Li and Jaehwan Jeong and Yihang Xu and Yejin Lee and Carolyn M. Baum and Lisa Tabor Connor and Chenyang Lu},
journal= {arXiv preprint arXiv:2409.05662},
year = {2025}
}