基于强化学习的交互式视频语料库时刻检索
计算机视觉与模式识别
2023-02-21 v1
摘要
已知项视频搜索通过人机交互来交互式地调查搜索结果并优化初始查询是有效的。然而，当前几页结果被视觉上相似的条目淹没，或者搜索目标隐藏在排序列表深处时，找到已知项目标通常需要长时间的浏览和结果检查。本文通过强化学习来解决这个问题，旨在通过从用户反馈中进行长期学习，在几轮交互内达到搜索目标。具体来说，系统根据反馈交互式地规划导航路径，并推荐一个最大化长期奖励的潜在目标供用户评论。我们针对具有挑战性的视频语料库片段检索任务进行了实验，以从大型视频语料库中定位片段。在TVR和DiDeMo数据集上的实验结果验证了我们提出的工作在检索隐藏在CONQUER和HERO（它们是VCMR任务最先进的自动搜索引擎）排序列表深处的片段方面是有效的。
引用
@article{arxiv.2302.09522,
title = {Interactive Video Corpus Moment Retrieval using Reinforcement Learning},
author = {Zhixin Ma and Chong-Wah Ngo},
journal= {arXiv preprint arXiv:2302.09522},
year = {2023}
}
备注
Accepted by ACM Multimedia 2022