基于自然语言查询的联合时刻检索与高亮检测
计算机视觉与模式识别
2023-05-10 v1 计算与语言
机器学习
摘要
由于互联网上大量视频内容的存在，视频摘要已成为计算机视觉领域日益重要的任务。在本项目中，我们提出一种基于自然语言查询、使用多模态 Transformer 的联合视频摘要与高亮检测新方法。该方法将利用视觉和音频线索，将用户的自然语言查询与视频中最相关和有趣的时刻进行匹配以检索之。我们的方法采用视觉 Transformer（ViTs）中多种近期技术来构建类 Transformer 的编码器-解码器模型。我们在 YouTube Highlights 和 TVSum 等多个数据集上评估了我们的方法，以展示所提方法的灵活性。
引用
@article{arxiv.2305.04961,
title = {Joint Moment Retrieval and Highlight Detection Via Natural Language Queries},
author = {Richard Luo and Austin Peng and Heidi Yap and Koby Beard},
journal= {arXiv preprint arXiv:2305.04961},
year = {2023}
}