用于快速在线动作检测的信息提升网络
计算机视觉与模式识别
2024-10-28 v1
摘要
在线动作检测（OAD）是一项接收流式视频中视频片段作为输入并识别其中正在进行动作的任务。保留与当前动作相关的过去信息十分重要。然而，长短期记忆（LSTM）这一常用于建模视频时间信息的循环单元，在每个时间步无差别地累积来自先前隐藏状态、细胞状态及所提取视觉特征的过去信息，而未考虑过去与当前信息间的关系。因此，原始 LSTM 的遗忘门会在未考虑当前动作的情况下决定遗忘哪些信息，从而丢失与当前动作相关的累积信息。我们提出一种新颖的信息提升单元（IEU），其提升并累积与当前动作相关的过去信息，以建模尤其与当前动作相关的过去信息。据我们所知，我们的 IEN 是首个考虑 OAD 实际使用的计算开销的尝试。通过消融研究，我们设计了一个使用 IEU 的高效且有效的 OAD 网络，称为信息提升网络（IEN）。我们的 IEN 使用由仅接收 RGB 帧的快速动作识别网络提取的视觉特征，因为提取光流需要沉重的计算开销。在两个 OAD 基准数据集 THUMOS-14 和 TVSeries 上，我们的 IEN 仅使用 RGB 帧便优于最先进的 OAD 方法。此外，在 THUMOS-14 数据集上，我们的 IEN 优于基于 RGB 帧与光流双流特征的最先进 OAD 方法。
引用
@article{arxiv.2109.13572,
title = {Information Elevation Network for Fast Online Action Detection},
author = {Sunah Min and Jinyoung Moon},
journal= {arXiv preprint arXiv:2109.13572},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication