驾驭推理经济：大型语言模型高效推理综述

大型语言模型 (LLM) 的最新进展显著增强了其执行复杂推理任务的能力，实现了从快速直觉思考（系统 1）到缓慢深度推理（系统 2）的转变。虽然系统 2 推理提高了任务准确性，但由于其慢思考特性和低效或不必要的推理行为，通常会产生大量的计算成本。相反，系统 1 推理在计算上很高效，但会导致次优性能。因此，平衡性能（收益）与计算成本（预算）之间的权衡至关重要，这催生了推理经济的概念。在本综述中，我们对 LLM 在后训练和测试时推理阶段的推理经济进行了全面分析，包括：i) 推理低效的原因，ii) 不同推理模式的行为分析，以及 iii) 实现推理经济的潜在解决方案。通过提供可操作的见解并强调开放性挑战，我们旨在阐明提高 LLM 推理经济的策略，从而作为推进这一不断发展领域研究的宝贵资源。我们还提供了一个公开的代码库，以持续跟踪这一快速发展领域的进展。