智能体指导大语言模型成为通用零样本推理器
计算与语言
2024-08-15 v2 人工智能
机器学习
摘要
我们引入一种方法，以提升大语言模型在通用语言理解任务上的零样本推理能力。具体而言，我们构建一个自主智能体来指导大语言模型的推理过程。我们表明该方法进一步释放了大语言模型在更多任务上的零样本推理能力。我们在一组涵盖生成、分类与推理的广泛数据集上研究了方法的性能。我们展示该方法可泛化至大多数任务，并在我们所评估的 29 个数据集中的 20 个上取得最先进的零样本性能。例如，我们的方法大幅提升了最先进大语言模型的性能，包括 Vicuna-13b（13.3%）、Llama-2-70b-chat（23.2%）和 GPT-3.5 Turbo（17.0%）。与零样本思维链相比，我们在推理上的提升引人注目，平均提升达 10.5%。借助我们的方法，Llama-2-70b-chat 以 10.2% 的优势超越零样本 GPT-3.5 Turbo。
引用
@article{arxiv.2310.03710,
title = {Agent Instructs Large Language Models to be General Zero-Shot Reasoners},
author = {Nicholas Crispino and Kyle Montgomery and Fankun Zeng and Dawn Song and Chenguang Wang},
journal= {arXiv preprint arXiv:2310.03710},
year = {2024}
}
备注
Accepted to ICML 2024