用于活动识别的时间推理图
计算机视觉与模式识别
2019-08-28 v1
摘要
尽管在活动分析方面已取得巨大成功，但仍存在诸多挑战。现有多数活动识别工作更关注设计高效架构或视频采样策略。然而，由于视频中细粒度动作与长时结构的特性，活动识别需要推理视频序列间的时间关系。本文提出一种高效的时间推理图（TRG），以在多时间尺度上同时捕获视频序列的外观特征与时间关系。具体而言，我们构建可学习的时间关系图来探索多尺度范围上的时间关系。此外，为便于多尺度时间关系提取，我们设计了一种多头时间邻接矩阵来表示多种时间关系。最终，提出一种多头时间关系聚合器，以提取经图卷积的这些特征的语义信息。我们在广泛使用的大规模数据集（如 Something-Something 和 Charades）上进行了大量实验，结果表明我们的模型可达到最先进的性能。进一步分析表明，使用我们的 TRG 进行时间关系推理可为活动识别提取具有判别性的特征。
引用
@article{arxiv.1908.09995,
title = {Temporal Reasoning Graph for Activity Recognition},
author = {Jingran Zhang and Fumin Shen and Xing Xu and Heng Tao Shen},
journal= {arXiv preprint arXiv:1908.09995},
year = {2019}
}
备注
14pages, 8figures