McQueen：多模态对话查询重写基准
计算与语言
2022-10-25 v1 人工智能
摘要
查询重写任务旨在将上下文中的查询转换为完整形式，其中省略与指代需依据历史上下文进行补全与回指。尽管已取得诸多进展，但针对涉及从多种模态获取信息的真实场景对话的研究仍较少。本文提出多模态视觉对话设置下的多模态对话查询重写（McQR）任务。我们基于人工标注收集了一个名为McQueen的大规模数据集，包含15k段视觉对话与超过80k条查询，每条均附有完整形式的重写版本。此外，对于重写中出现的实体，我们提供了相应的图像框标注。随后我们利用McQueen数据集对一个基于带指针生成器的多模态预训练模型、能有效处理McQR任务的最先进方法进行基准测试。我们进行了充分的实验以证明该模型在此任务上的有效性\footnote{本文的数据集与代码均可在\url{https://github.com/yfyuan01/MQR}获取}
引用
@article{arxiv.2210.12775,
title = {McQueen: a Benchmark for Multimodal Conversational Query Rewrite},
author = {Yifei Yuan and Chen Shi and Runze Wang and Liyi Chen and Feijun Jiang and Yuan You and Wai Lam},
journal= {arXiv preprint arXiv:2210.12775},
year = {2022}
}
备注
Accepted by EMNLP22