通过工具间对话与高效微调大语言模型实现多模态多跳问答
计算与语言
2023-09-19 v1
摘要
我们采用一种工具交互的分治策略，使大语言模型（LLMs）能够回答复杂的多模态多跳问题。具体而言，我们利用大语言模型的能力，将给定的多模态多跳问题划分为单模态单跳子问题，由预定义工具集中合适的工具作答。在所有相应工具向 LLM 提供答案后，LLM 生成下一个相关的单模态单跳问题。为提升 LLM 的推理能力，我们提示 chatGPT 生成一个工具交互的分治数据集，该数据集随后被用于高效微调相应的 LLM。为评估该方法的有效性，我们在两个近期提出的复杂问答数据集上进行了评测。实验分析表明相较现有最优方案有显著改进，显示出我们策略的有效性与通用性。
引用
@article{arxiv.2309.08922,
title = {Multimodal Multi-Hop Question Answering Through a Conversation Between Tools and Efficiently Finetuned Large Language Models},
author = {Hossein Rajabzadeh and Suyuchen Wang and Hyock Ju Kwon and Bang Liu},
journal= {arXiv preprint arXiv:2309.08922},
year = {2023}
}