GPTSee：基于描述的相似度特征增强时刻检索与高光检测
计算机视觉与模式识别
2024-03-12 v2 人工智能
摘要
时刻检索（MR）与高光检测（HD）旨在根据相应的自然语言查询识别视频中的相关时刻与高光。大语言模型（LLM）已在各种计算机视觉任务中展现出卓越能力。然而，现有的 MR&HD 方法尚未与 LLM 结合。在本文中，我们提出了一种新颖的两阶段模型，将 LLM 的输出作为第二阶段 Transformer 编码器-解码器的输入。首先，利用 MiniGPT-4 生成视频帧的详细描述并重写查询语句，将其作为新特征输入编码器。然后，计算生成的描述与重写查询之间的语义相似度。最后，将连续的高相似度视频帧转换为跨度锚点，作为解码器的先验位置信息。实验表明，我们的方法取得了最先进的结果，并且仅使用跨度锚点和相似度分数作为输出，其定位精度优于 Moment-DETR 等传统方法。
引用
@article{arxiv.2403.01437,
title = {GPTSee: Enhancing Moment Retrieval and Highlight Detection via Description-Based Similarity Features},
author = {Yunzhuo Sun and Yifang Xu and Zien Xie and Yukun Shu and Sidan Du},
journal= {arXiv preprint arXiv:2403.01437},
year = {2024}
}
备注
5 pages, 3 figures