合成多模态问题生成
计算与语言
2024-10-07 v2 人工智能
机器学习
摘要
多模态检索增强生成（MMRAG）是一种强大的问答方法，可用于多模态文档。评估MMRAG的关键挑战是缺乏匹配感兴趣问题风格和模态的高质量数据集。鉴于此，我们提出SMMQG，一个合成数据生成框架。SMMQG利用检索器、大语言模型（LLM）和大型多模态模型（LMM）之间的相互作用，从多模态文档中直接生成问题和答案对，使问题符合指定的风格和模态。我们使用SMMQG生成1024个关于Wikipedia文档的问题的数据集，并对其进行评估，揭示了仅通过风格和模态特定评估数据才能实现的模型性能洞见。接下来，我们通过人类研究测量SMMQG产生的数据质量。我们发现SMMQG生成的合成数据质量与众所周知的MMQA基准相当，并且使用两个数据集进行的下游评估结果高度一致。
引用
@article{arxiv.2407.02233,
title = {Synthetic Multimodal Question Generation},
author = {Ian Wu and Sravan Jayanthi and Vijay Viswanathan and Simon Rosenberg and Sina Pakazad and Tongshuang Wu and Graham Neubig},
journal= {arXiv preprint arXiv:2407.02233},
year = {2024}
}
备注
Accepted to EMNLP 2024 Findings; Camera Ready