MAC：面向基于语言的时间定位的活动概念挖掘
计算机视觉与模式识别
2018-11-26 v1
摘要
我们解决了未剪辑视频中基于语言的时间定位问题。与具有固定类别的时间定位相比，该问题更具挑战性，因为基于语言的查询不仅没有预定义的活动列表，还可能包含复杂描述。先前的方法通过考虑视频滑动窗口和语言查询的特征并学习一个子空间来编码其相关性来解决该问题，但忽略了视频和查询中关于活动的丰富语义线索。我们提出通过应用动作性分数增强的基于活动概念定位器（ACL）从视频和语言两种模态中挖掘活动概念。具体而言，新颖的ACL从语言查询中的动词-宾语对编码语义概念，并利用活动分类器的预测分数编码视觉概念。此外，ACL还具备将滑动窗口回归为定位结果的能力。实验表明，在广泛使用的评价指标下，ACL显著优于现有最优方法，在Charades-STA和TACoS数据集上均有超过5%的提升。
引用
@article{arxiv.1811.08925,
title = {MAC: Mining Activity Concepts for Language-based Temporal Localization},
author = {Runzhou Ge and Jiyang Gao and Kan Chen and Ram Nevatia},
journal= {arXiv preprint arXiv:1811.08925},
year = {2018}
}
备注
WACV 2019