基于 Transformer 的时间动作提案生成
计算机视觉与模式识别
2021-05-26 v1 多媒体
摘要
Transformer 网络在建模长程上下文信息方面十分有效，且近期已在自然语言处理领域展现出典范性性能。 conventionally，时间动作提案生成（TAPG）任务被划分为两个主要子任务：边界预测与提案置信度预测，它们分别依赖于帧级依赖与提案级关系。为捕获不同粒度级别的依赖关系，本文直观地提出一个使用原始 Transformer 的统一时间动作提案生成框架，称为 TAPG Transformer，其由边界 Transformer 与提案 Transformer 组成。具体而言，边界 Transformer 捕获长期时间依赖以预测精确边界信息，提案 Transformer 学习丰富的提案间关系以进行可靠的置信度评估。我们在两个流行基准 ActivityNet-1.3 与 THUMOS14 上进行了大量实验，结果表明 TAPG Transformer 优于当前最优方法。配合现有动作分类器，我们的方法在时间动作定位任务上取得了显著性能。代码与模型将公开可用。
引用
@article{arxiv.2105.12043,
title = {Temporal Action Proposal Generation with Transformers},
author = {Lining Wang and Haosen Yang and Wenhao Wu and Hongxun Yao and Hujie Huang},
journal= {arXiv preprint arXiv:2105.12043},
year = {2021}
}
备注
The first three authors contributed equally