一种自动发现的思维链提示可泛化至新颖模型与数据集
计算与语言
2023-08-04 v2 人工智能
摘要
涌现的思维链（CoT）推理能力有望提升大语言模型（LLM）的性能与可解释性。然而，针对先前模型代际所制定的推理策略如何泛化至新模型代际与不同数据集，仍存在不确定性。在这项小规模研究中，我们在六个近期发布的 LLM（davinci-002、davinci-003、GPT-3.5-turbo、GPT-4、Flan-T5-xxl 与 Cohere command-xlarge）上，针对包含科学与医学领域数据集在内的六个问答数据集混合，比较了由零样本提示诱导的不同推理策略。我们的发现表明，尽管有效性存在一些变化，CoT 推理策略带来的增益在不同模型与数据集上保持稳健。GPT-4 从当前最先进推理策略中获益最大，并通过应用先前经自动发现得到的提示展现出最佳性能。
引用
@article{arxiv.2305.02897,
title = {An automatically discovered chain-of-thought prompt generalizes to novel models and datasets},
author = {Konstantin Hebenstreit and Robert Praas and Louis P Kiesewetter and Matthias Samwald},
journal= {arXiv preprint arXiv:2305.02897},
year = {2023}
}