LSTC：利用长短期上下文提升原子动作检测
计算机视觉与模式识别
2021-10-20 v1
摘要
在本文中，我们将原子动作检测问题置于长短期上下文（LSTC）中，以分析视频信号间的时间依赖如何影响动作检测结果。为此，我们将动作识别流程按给定目标动作实例条件下两类上下文条件独立的假设，分解为短期依赖与长期依赖。在我们的设计中，利用局部聚合分支收集密集且信息丰富的短期线索，同时设计高阶长期推理分支从演员与其他人或人 pair 之间的高阶交互中推理目标动作类别。两个分支独立预测特定上下文的动作，最终结果在末端融合。我们证明了两种时间粒度均有益于原子动作识别。在原子动作检测的主流基准上，我们的设计相较现有最先进（SOTA）流程带来了显著的性能提升。本项目代码可在 [此链接](https://github.com/TencentYoutuResearch/ActionDetection-LSTC) 获取。
引用
@article{arxiv.2110.09819,
title = {LSTC: Boosting Atomic Action Detection with Long-Short-Term Context},
author = {Yuxi Li and Boshen Zhang and Jian Li and Yabiao Wang and Weiyao Lin and Chengjie Wang and Jilin Li and Feiyue Huang},
journal= {arXiv preprint arXiv:2110.09819},
year = {2021}
}
备注
ACM Multimedia 2021