面向在线动作检测的长短期 Transformer
计算机视觉与模式识别
2021-12-23 v3
摘要
我们提出长短期 Transformer（LSTR），一种用于在线动作检测的时间建模算法，它采用长短期记忆机制来建模长时间序列数据。它由一个 LSTR 编码器组成，该编码器动态利用来自扩展时间窗口（例如，跨越多达 8 分钟的 2048 帧）的粗粒度历史信息，以及一个 LSTR 解码器，专注于短时间窗口（例如，跨域 8 秒的 32 帧）以建模数据的细粒度特征。与先前工作相比，LSTR 以更少的启发式方法提供了一种有效且高效的长视频建模方法，这通过广泛的实证分析得到验证。LSTR 在三个标准在线动作检测基准 THUMOS'14、TVSeries 和 HACS Segment 上实现了最先进的性能。代码已发布于：https://xumingze0308.github.io/projects/lstr
引用
@article{arxiv.2107.03377,
title = {Long Short-Term Transformer for Online Action Detection},
author = {Mingze Xu and Yuanjun Xiong and Hao Chen and Xinyu Li and Wei Xia and Zhuowen Tu and Stefano Soatto},
journal= {arXiv preprint arXiv:2107.03377},
year = {2021}
}
备注
NeurIPS 2021 Spotlight