基于 RGB Flow 与 Representation Flow 的端到端双流网络用于人体动作识别
计算机视觉与模式识别
2024-11-28 v1 人工智能
摘要
随着深度学习的快速发展，计算机视觉任务取得了显著进步，双流神经网络成为基于视频的动作识别热门研究方向。传统使用 RGB 与光流流的模型虽性能强劲，但计算成本高昂。为此，我们提出一种 representation flow 算法取代 egocentric action recognition 模型中的光流分支，实现端到端训练，同时降低计算成本和预测时间。我们的模型专为 egocentric action recognition 设计，采用 class activation maps（CAMs）提升准确率，并利用 ConvLSTM 进行时空编码配以空间注意力。实验在 GTEA61、EGTEA GAZE+ 与 HMDB 数据集上评估，结果显示我们模型在 GTEA61 上准确率与原模型持平，在 EGTEA GAZE+ 上提升 0.65%，在 HMDB 上提升 0.84%。预测运行时间显著降低至 0.1881 秒、0.1503 秒和 0.1459 秒，远低于原模型的 101.6795 秒、25.3799 秒和 203.9958 秒。我们还进行了消融实验，研究不同参数对模型性能的影响。
引用
@article{arxiv.2411.18002,
title = {An End-to-End Two-Stream Network Based on RGB Flow and Representation Flow for Human Action Recognition},
author = {Song-Jiang Lai and Tsun-Hin Cheung and Ka-Chun Fung and Tian-Shan Liu and Kin-Man Lam},
journal= {arXiv preprint arXiv:2411.18002},
year = {2024}
}
备注
6 pages, 3 figures, 9 tables