学习判别信息用于在线动作检测：分析与运用
计算机视觉与模式识别
2022-11-21 v3
摘要
在线动作检测旨在从流式视频中识别正在进行的动作，是现实应用中的重要课题。对于该任务，以往方法使用循环神经网络对输入序列中的时间关系建模。然而，这些方法忽视了一个事实：输入图像序列不仅包含感兴趣的动作，还包含背景与无关动作。这会导致循环单元为编码感兴趣动作的特征而累积不必要的信息。为克服该问题，我们提出了一种新颖的循环单元，称为信息判别单元（IDU），它显式判别正在进行的动作与其他动作之间的信息相关性，以决定是否累积输入信息。这使得学习更具判别性的表示以识别正在进行的动作成为可能。在本文中，我们进一步提出了一种新的循环单元，称为信息整合单元（IIU），用于动作预测。我们的 IIU 利用 IDU 的输出作为伪动作标签以及 RGB 帧，以有效学习已观测动作的丰富特征。在 TVSeries 和 THUMOS-14 上的实验中，所提方法在在线动作检测和动作预测上以显著优势超越 SOTA 方法。此外，我们通过全面的消融实验证明了所提单元的有效性。
引用
@article{arxiv.2109.03393,
title = {Learning to Discriminate Information for Online Action Detection: Analysis and Application},
author = {Sumin Lee and Hyunjun Eun and Jinyoung Moon and Seokeon Choi and Yoonhyung Kim and Chanho Jung and Changick Kim},
journal= {arXiv preprint arXiv:2109.03393},
year = {2022}
}
备注
To appear in TPAMI. arXiv admin note: substantial text overlap with arXiv:1912.04461