像专家一样思考：面向基础模型的多模态思维超图（HoT）推理
计算与语言
2023-08-14 v1
摘要
推理能力是基础模型最关键的能力之一，标志着其解决复杂推理任务的本领。思维链（CoT）技术被广泛视为增强基础模型推理能力的有效方法之一，并引起了显著关注。然而，CoT的推理过程是线性的、逐步的，类似于个人逻辑推理，适用于解决通用及稍复杂的问题。相反，专家的思维方式具有两个CoT无法恰当处理的显著特征，即高阶多跳推理与多模态比较判断。因此，本文的核心动机是超越CoT，构建一种能够像专家一样思考的推理范式。超图的超边可连接多个顶点，使其天然适用于建模高阶关系。受此启发，本文创新性地提出一种多模态思维超图（HoT）推理范式，使基础模型具备专家级的高阶多跳推理与多模态比较判断能力。具体而言，利用三元组作为主要思维构建文本思维超图以建模高阶关系，并通过多跳游走路径生成思维超边以实现多跳推断。此外，我们设计视觉思维超图，通过跨模态协同注意力图学习与文本思维超图交互，进行多模态比较验证。在ScienceQA基准上的实验表明，所提出的基于HoT的T5优于基于CoT的GPT3.5与chatGPT，并与基于CoT的GPT4相当且模型规模更小。
引用
@article{arxiv.2308.06207,
title = {Thinking Like an Expert:Multimodal Hypergraph-of-Thought (HoT) Reasoning to boost Foundation Modals},
author = {Fanglong Yao and Changyuan Tian and Jintao Liu and Zequn Zhang and Qing Liu and Li Jin and Shuchao Li and Xiaoyu Li and Xian Sun},
journal= {arXiv preprint arXiv:2308.06207},
year = {2023}
}