OadTR：基于 Transformer 的在线动作检测
计算机视觉与模式识别
2021-06-22 v1
摘要
多数近期在线动作检测方法倾向于使用循环神经网络（RNN）捕获长程时间结构。然而，RNN 存在不可并行与梯度消失问题，因而难以优化。本文提出一种基于 Transformer 的新型编码器-解码器框架，称为 OadTR，以解决这些问题。附属于任务令牌的编码器旨在捕获历史观测间的关系与全局交互。解码器通过聚合预期未来片段表示来提取辅助信息。因此，OadTR 可通过同时编码历史信息与预测未来上下文来识别当前动作。我们在三个具挑战性数据集 HDD、TVSeries 与 THUMOS14 上广泛评估了所提 OadTR。实验结果表明，OadTR 比当前基于 RNN 的方法具有更高的训练与推理速度，并在 mAP 与 mcAP 指标上显著优于 SOTA 方法。代码见 https://github.com/wangxiang1230/OadTR。
关键词
引用
@article{arxiv.2106.11149,
title = {OadTR: Online Action Detection with Transformers},
author = {Xiang Wang and Shiwei Zhang and Zhiwu Qing and Yuanjie Shao and Zhengrong Zuo and Changxin Gao and Nong Sang},
journal= {arXiv preprint arXiv:2106.11149},
year = {2021}
}
备注
Code is available at https://github.com/wangxiang1230/OadTR