基于圆形窗口的级联 Transformer 用于在线动作检测
计算机视觉与模式识别
2022-08-31 v1
摘要
在线动作检测旨在基于长历史观测对当前帧进行准确动作预测，同时要求对在线流视频实时推理。本文提出一种新颖高效的在线动作检测原则：仅更新一个窗口内最新与最旧的历史表征，而复用已计算的中间表征。基于此原则，我们引入带圆形历史队列的基于窗口的级联 Transformer，其在每个窗口上执行多阶段注意力与级联精炼。我们还探索将在线动作检测与其对应任务离线动作分割作为辅助任务之间的关联。我们发现此类额外监督有助于判别性历史聚类，并作为特征增强以更好地训练分类器与级联精炼。我们所提方法在 THUMOS'14、TVSeries 与 HDD 三个具挑战性数据集上取得最先进（state-of-the-art）性能。代码将在录用后公开。
引用
@article{arxiv.2208.14209,
title = {A Circular Window-based Cascade Transformer for Online Action Detection},
author = {Shuqiang Cao and Weixin Luo and Bairui Wang and Wei Zhang and Lin Ma},
journal= {arXiv preprint arXiv:2208.14209},
year = {2022}
}
备注
Submitted to TPAMI