长话短说：一种用于长视频问答的先摘要后搜索方法
计算机视觉与模式识别
2023-11-03 v1 人工智能
摘要
诸如 GPT-3 之类的大语言模型已展现出令人印象深刻的适应能力，可在无需任务特定训练数据的情况下适应新任务。这种能力在叙事问答等场景中尤为有效，其中任务多样性极大，但可用的监督数据很少。在本工作中，我们探究此类语言模型能否将其零样本推理能力扩展到戏剧、电影和动画等多媒体内容中的长多模态叙事，其中故事起着至关重要的作用。我们提出 Long Story Short，一种叙事视频问答框架，它首先将视频叙事摘要为简短情节，然后搜索与问题相关的视频片段。我们还提出用 CLIPCheck 增强视觉匹配。我们的模型大幅优于最先进的监督模型，凸显了长视频零样本问答的潜力。
引用
@article{arxiv.2311.01233,
title = {Long Story Short: a Summarize-then-Search Method for Long Video Question Answering},
author = {Jiwan Chung and Youngjae Yu},
journal= {arXiv preprint arXiv:2311.01233},
year = {2023}
}
备注
Published in BMVC 2023