中文

$T^2$ 思考:温度树驱动大语言模型的推理能力

计算与语言 2025-02-18 v2 人工智能 机器学习

摘要

大型语言模型(LLM)已成为人工智能领域的强大工具,尤其在复杂决策场景中展现出巨大潜力,但其静态的解决策略常常限制了在动态环境下的适应性。我们通过温度树(Temperature Tree,简称 T2T^2)提示技术,引入一种启发式算法,称为 T2T^2 的思考(T2oTT^2oT),来增强大语言模型的推理能力。本研究的核心目标是通过动态调整搜索参数,尤其是温度,以提升决策过程的准确性而不增加计算负担。我们通过实证研究验证,混合的 T2oTT^2oT 方法在单解准确率、多解生成和文本生成质量方面均取得提升。我们的发现表明,尽管基于温度的动态搜索深度调整可能带来混合结果,但固定的搜索深度若结合 T2oTT^2oT 的自适应能力,将提供更可靠且更具通用性的解决策略。本工作突显了在优化基础语言模型与算法交互方面的潜力,尤其是在24点游戏和创意写作任务中得到的验证。

关键词

引用

@article{arxiv.2405.14075,
  title  = {$T^2$ of Thoughts: Temperature Tree Elicits Reasoning in Large Language Models},
  author = {Chengkun Cai and Xu Zhao and Yucheng Du and Haoliang Liu and Lei Li},
  journal= {arXiv preprint arXiv:2405.14075},
  year   = {2025}
}

备注

8 pages, 4 figures