TadML：基于力学 MLP 的快速时序动作检测
计算机视觉与模式识别
2024-02-05 v2
摘要
时序动作检测（TAD）是视频理解中关键但具挑战性的任务。其旨在检测长而未剪辑视频中每个动作实例的类型与起止帧。当前多数模型采用 RGB 与光流双流进行 TAD 任务。因此，原始 RGB 帧必须手动转换为光流帧，带来额外计算与时间开销，是实现实时处理的障碍。目前许多模型采用两阶段策略，会拖慢推理速度并在候选生成上需复杂调参。相比之下，我们提出仅使用 RGB 流的一阶段无锚时序定位方法，其中建立了一种新颖的牛顿力学 MLP 架构。其精度与所有现有 SOTA 模型相当，同时推理速度大幅超越这些方法。本文典型推理速度在 THUMOS14 上惊人地达到每秒 4.44 个视频。应用中，由于无需转换光流，推理速度将更快。这也证明 MLP 在 TAD 等下游任务中具巨大潜力。源代码见 https://github.com/BonedDeng/TadML
引用
@article{arxiv.2206.02997,
title = {TadML: A fast temporal action detection with Mechanics-MLP},
author = {Bowen Deng and Dongchang Liu},
journal= {arXiv preprint arXiv:2206.02997},
year = {2024}
}
备注
8 pages,3 figures