揭示基于查询的视频时刻检索中的隐藏挑战
计算机视觉与模式识别
2020-10-08 v2
摘要
基于查询的时刻检索是一项根据查询语句从未裁剪视频中定位特定片段的问题。这是一项具有挑战性的任务，要求同时理解自然语言查询与视频内容。如同计算机视觉与机器学习诸多其他领域，基于查询的时刻检索进展深受基准数据集驱动，因此其质量对该领域影响重大。本文中，我们呈现了一系列实验，评估基准结果在多大程度上反映了解决时刻检索任务的真实进展。我们的结果表明流行数据集中存在显著偏差，以及SOTA模型的意外行为。此外，我们提出了新的健全性检验实验与结果可视化方法。最后，我们给出了未来改进时序句子定位的可能方向。本文代码见 https://mayu-ot.github.io/hidden-challenges-MR 。
引用
@article{arxiv.2009.00325,
title = {Uncovering Hidden Challenges in Query-Based Video Moment Retrieval},
author = {Mayu Otani and Yuta Nakashima and Esa Rahtu and Janne Heikkilä},
journal= {arXiv preprint arXiv:2009.00325},
year = {2020}
}
备注
British Machine Vision Conference (BMVC), 2020. (v2) added references