深度就是一切吗？对 LLMs 中迭代推理的探索
人工智能
2025-02-19 v2 计算与语言
摘要
深度迭代链式思维（CoT）推理使 LLMs 能够通过逐步激活相关的预训练知识来应对复杂任务。然而，它面临确保持续改进和确定停止准则的挑战。在本文中，我们研究是否可以从初始推理路径激活直接有助于解决给定问题的相关知识，从而规避迭代细化的需要。我们的实验表明，增加初始推理路径的多样性可以实现相当或更优的性能，我们将这一概念称为宽度推理。然而，现有的宽度推理方法（如自一致性）提供的多样性有限。为解决这一局限性，我们提出了一种简单而有效的方法，通过将上下文探索与降低采样随机性相结合来增强推理广度。大量实验表明，我们的方法显著优于深度迭代推理。代码已发布在 https://github.com/zongqianwu/breadth。
引用
@article{arxiv.2502.10858,
title = {Is Depth All You Need? An Exploration of Iterative Reasoning in LLMs},
author = {Zongqian Wu and Tianyu Li and Baoduo Xu and Jiaying Yang and Mengmeng Zhan and Xiaofeng Zhu and Lei Feng},
journal= {arXiv preprint arXiv:2502.10858},
year = {2025}
}
备注
22 pages, 7 figures