搜索流（SoS）：在语言中学习搜索
机器学习
2024-04-08 v1 人工智能
计算与语言
摘要
语言模型在训练中很少看到有益的失误。然后它们难以超越下一个token，遭受错误的雪崩效应，并且难以预测其行为几步后的后果。本文展示了如何通过将搜索过程表示为语言中的扁平字符串——搜索流（SoS）来教会语言模型进行搜索。我们提出了一种统一的搜索语言，能够捕捉一系列不同的符号搜索策略。我们使用简单但困难的Countdown游戏来展示我们的方法，目标是将输入数字与算术运算组合以达到目标数字。我们在由启发式求解器生成的搜索流数据集上从头预训练了一个基于transformer的语言模型。我们发现，与仅训练预测最优搜索轨迹的模型相比，SoS预训练将搜索准确性提高了25%。我们进一步使用两种策略改进方法微调该模型：优势诱导策略对齐（APA）和自训练推理器（STaR）。微调后的SoS模型解决了36%以前未解决的问题，包括任何启发式求解器都无法解决的问题。我们的结果表明，语言模型可以通过搜索学习解决问题，自我改进以灵活使用不同的搜索策略，并可能发现新的策略。
关键词
引用
@article{arxiv.2404.03683,
title = {Stream of Search (SoS): Learning to Search in Language},
author = {Kanishk Gandhi and Denise Lee and Gabriel Grand and Muxin Liu and Winson Cheng and Archit Sharma and Noah D. Goodman},
journal= {arXiv preprint arXiv:2404.03683},
year = {2024}
}