头脑风暴为大型语言模型知识推理带来力量
计算与语言
2024-06-12 v1 人工智能
摘要
大型语言模型（LLM）在语言生成、文本理解和知识推理方面展现出惊人的能力。虽然一个强大的单一模型已经可以处理多个任务，但仅依赖单一视角可能会导致偏差和结果不稳定。最近的研究通过引入多模型协作进一步提高了模型在广泛任务上的推理能力。然而，具有不同能力的模型可能会在同一问题上产生冲突的答案，而如何从多个候选模型中合理地获得正确答案则成为一个具有挑战性的问题。在本文中，我们提出了基于提示的多模型头脑风暴方法。它将不同的模型纳入一个小组进行头脑风暴，通过多轮推理细化和重新推理，在小组内部达到共识答案。我们在三种不同类型的数据集上进行了实验，证明头脑风暴在逻辑推理和事实抽取方面的效果显著提高。此外，我们发现通过头脑风暴，两个小参数模型可以实现接近大参数模型的准确率，这为 LLM 的分布式部署提供了新的解决方案。
引用
@article{arxiv.2406.06561,
title = {Brainstorming Brings Power to Large Language Models of Knowledge Reasoning},
author = {Zining Qin and Chenhao Wang and Huiling Qin and Weijia Jia},
journal= {arXiv preprint arXiv:2406.06561},
year = {2024}
}