MuRAR: 一种用于多模态问答的简单有效的多模态检索与答案精炼框架
信息检索
2025-02-10 v2 计算与语言
摘要
检索增强生成（RAG）的最新进展在问答（QA）任务中展示了令人瞩目的性能。然而，大多数先前的工作主要关注基于文本的答案。虽然一些研究涉及多模态数据，但它们在生成全面的多模态答案方面仍有不足，特别是在解释概念或提供完成特定目标的逐步教程方面。这种能力对于企业聊天机器人以及客户服务和教育系统等场景尤其有价值，因为这些场景中的答案来源于多模态数据。在本文中，我们提出了一种简单有效的框架 MuRAR（Multimodal Retrieval and Answer Refinement）。MuRAR 通过检索相关的多模态数据并精炼响应来增强基于文本的答案，从而生成连贯的多模态答案。该框架可以仅通过最少的修改即可轻松扩展以支持企业聊天机器人中的多模态答案。人类评估结果表明，MuRAR 生成的多模态答案比纯文本答案更有用且更易读。
引用
@article{arxiv.2408.08521,
title = {MuRAR: A Simple and Effective Multimodal Retrieval and Answer Refinement Framework for Multimodal Question Answering},
author = {Zhengyuan Zhu and Daniel Lee and Hong Zhang and Sai Sree Harsha and Loic Feujio and Akash Maharaj and Yunyao Li},
journal= {arXiv preprint arXiv:2408.08521},
year = {2025}
}
备注
Accepted at COLING 2025