$T^2$ 思考:温度树驱动大语言模型的推理能力
计算与语言
2025-02-18 v2 人工智能
机器学习
摘要
大型语言模型(LLM)已成为人工智能领域的强大工具,尤其在复杂决策场景中展现出巨大潜力,但其静态的解决策略常常限制了在动态环境下的适应性。我们通过温度树(Temperature Tree,简称 )提示技术,引入一种启发式算法,称为 的思考(),来增强大语言模型的推理能力。本研究的核心目标是通过动态调整搜索参数,尤其是温度,以提升决策过程的准确性而不增加计算负担。我们通过实证研究验证,混合的 方法在单解准确率、多解生成和文本生成质量方面均取得提升。我们的发现表明,尽管基于温度的动态搜索深度调整可能带来混合结果,但固定的搜索深度若结合 的自适应能力,将提供更可靠且更具通用性的解决策略。本工作突显了在优化基础语言模型与算法交互方面的潜力,尤其是在24点游戏和创意写作任务中得到的验证。
引用
@article{arxiv.2405.14075,
title = {$T^2$ of Thoughts: Temperature Tree Elicits Reasoning in Large Language Models},
author = {Chengkun Cai and Xu Zhao and Yucheng Du and Haoliang Liu and Lei Li},
journal= {arXiv preprint arXiv:2405.14075},
year = {2025}
}
备注
8 pages, 4 figures