2DP-2MRC：面向多模态时刻检索的基于二维指针的机器阅读理解方法
计算机视觉与模式识别
2024-06-11 v1 人工智能
摘要
时刻检索旨在根据给定的自然语言查询，在未修剪的视频中定位最相关的时刻。现有解决方案大致可分为基于时刻的方法和基于片段的方法。前者通常涉及大量计算，而后者由于忽略了粗粒度信息，其性能通常不如基于时刻的模型。因此，本文提出了一种新颖的面向时刻检索选择的基于二维指针的机器阅读理解（2DP-2MRC）模型，以解决基于片段方法中定位不精确的问题，同时保持比基于时刻方法更低的计算复杂度。具体来说，我们引入了一个AV-Encoder来捕获时刻和视频级别的粗粒度信息。此外，还引入了一个二维指针编码器模块，以进一步增强目标时刻的边界检测。在HiREST数据集上进行的大量实验表明，2DP-2MRC显著优于现有的基线模型。
引用
@article{arxiv.2406.06201,
title = {2DP-2MRC: 2-Dimensional Pointer-based Machine Reading Comprehension Method for Multimodal Moment Retrieval},
author = {Jiajun He and Tomoki Toda},
journal= {arXiv preprint arXiv:2406.06201},
year = {2024}
}
备注
Accepted by INTERSPEECH 2024