大语言模型中推理与规划的经验复杂度研究
人工智能
2024-06-19 v2 机器学习
摘要
链式思维 (CoT)、树状思维 (ToT) 以及相关技术在实际应用中对某些复杂推理任务表现出奇异的优势，但其背后的原因为何如此？本文通过开展实验案例研究，将性能提升效应链接到机器学习中既定的样本复杂度和计算复杂度原则。我们对6个推理任务进行实验，涵盖小学数学、空中旅行规划、..., 以及积木世界。结果表明：(i) 链式思维和树状思维均从任务分解中获益显著，任务分解将复杂推理任务拆分为一序列低样本复杂度的步骤，并明确描绘出推理结构；(ii) 对于计算难度大的推理任务，树状思维的更为复杂的树状结构优于链式思维的线性结构。这些发现为在实际中使用大语言模型解决推理任务提供了有用的指导。
引用
@article{arxiv.2404.11041,
title = {On the Empirical Complexity of Reasoning and Planning in LLMs},
author = {Liwei Kang and Zirui Zhao and David Hsu and Wee Sun Lee},
journal= {arXiv preprint arXiv:2404.11041},
year = {2024}
}