面向可靠 LLM 推理的自动课程专家迭代
机器学习
2025-03-21 v2 人工智能
计算与语言
机器学习
摘要
幻觉（即生成合乎情理但不准确内容）和懒惰（即过度拒绝或默认回答“我不知道”）仍是 LLM 推理中的主要挑战。当前减少幻觉的工作主要聚焦于知识驱动任务中基于事实的错误，往往忽视与错误推理相关的幻觉。同时，一些方法会导致 LLM 过于保守，限制其问题解决能力。为缓解推理任务中的幻觉和懒惰，我们提出了自动课程专家迭代（Auto-CEI）以增强 LLM 推理能力，并使其响应与模型能力相匹配——在能力范围内自信作答，超出时则拒绝。我们的方法中，专家迭代探索 LLM 策略附近的推理轨迹，引导错误路径回正轨，以减少复合错误并提高鲁棒性；它还促进在充分推理后给出恰当的“我不知道”回应。课程会自动调整奖励，以激励在承认能力不足之前进行更长的推理，从而推动 LLM 推理极限，并使其行为与这些极限相吻合。我们在逻辑推理、数学和规划任务上与各种 SOTA 基线进行比较，其中 Auto-CEI 通过有效平衡自信与保守，实现了优异的对齐效果。代码已提供：https://github.com/SalesforceAIResearch/Auto-CEI。
引用
@article{arxiv.2410.07627,
title = {Automatic Curriculum Expert Iteration for Reliable LLM Reasoning},
author = {Zirui Zhao and Hanze Dong and Amrita Saha and Caiming Xiong and Doyen Sahoo},
journal= {arXiv preprint arXiv:2410.07627},
year = {2025}
}
备注
20 pages