弱监督与指代注意力用于时序-文本关联学习
计算机视觉与模式识别
2020-06-30 v2
摘要
捕获视频帧与文本查询之间关联的系统为更好的视频分析提供了巨大潜力。然而，以全监督方式训练此类系统不可避免地需要精心整理的带时序-文本标注的视频数据集。因此我们提供了一种弱监督替代方案，通过提出的指代注意力机制学习时序-文本关联（称为 WSRA）。弱监督仅是视频级的文本表达（如短短语或句子），表明该视频包含相关帧。指代注意力是我们设计的机制，充当给定查询在帧上时序定位的打分函数。它由多个新颖损失与采样策略组成以更好地训练。我们设计机制的原则是充分利用：1）通过考虑以文本查询为锚的 video 内片段中信息丰富且具判别性的线索来实现的弱监督；2）与单个视频比较的多个查询；3）跨视频视觉相似性。我们通过大量时序语言定位实验验证 WSRA，表明其显著优于最先进的弱监督方法。
引用
@article{arxiv.2006.11747,
title = {Weak Supervision and Referring Attention for Temporal-Textual Association Learning},
author = {Zhiyuan Fang and Shu Kong and Zhe Wang and Charless Fowlkes and Yezhou Yang},
journal= {arXiv preprint arXiv:2006.11747},
year = {2020}
}
备注
12 pages, 6 figures