用于视频弱监督时刻检索的正则化双分支提案网络
计算机视觉与模式识别
2020-08-20 v1 多媒体
摘要
视频时刻检索旨在根据给定语句在视频中定位目标时刻。弱监督设定仅在训练时提供视频级语句标注。多数现有弱监督方法采用基于 MIL 的框架发展样本间对抗，却忽略了具有语义相似内容的时刻之间的样本内对抗。因此，这些方法无法将目标时刻与看似合理的负时刻区分开。本文提出一种新颖的正则化双分支提案网络，同时考虑样本间与样本内对抗。具体地，我们首先设计语言感知滤波器以生成增强视频流与抑制视频流。随后设计可共享的双分支提案模块，从增强流生成正提案、从抑制流生成看似合理的负提案，以实现充分对抗。进一步，我们应用提案正则化以稳定训练过程并提升模型性能。大量实验显示了方法的有效性。我们的代码发布于此处。
引用
@article{arxiv.2008.08257,
title = {Regularized Two-Branch Proposal Networks for Weakly-Supervised Moment Retrieval in Videos},
author = {Zhu Zhang and Zhijie Lin and Zhou Zhao and Jieming Zhu and Xiuqiang He},
journal= {arXiv preprint arXiv:2008.08257},
year = {2020}
}
备注
ACM MM 2020