优化指令合成：通过树搜索有效探索演化空间
人工智能
2024-10-15 v1 计算与语言
摘要
指令调谐是将语言模型与人类实际目标对齐的关键技术。广泛的研究表明，指令数据的质量对这一对齐的成功至关重要。然而，手动创建高质量数据需要大量的人力和时间，这导致研究者们探索使用大语言模型合成数据。最近的研究聚焦于使用更强的大语言模型迭代增强现有指令数据，取得了有前景的效果。然而，之前的工作往往缺乏对演化方向的控制，导致数据合成过程高度不确定性和指令质量较低。本文引入了一个通用且可扩展的框架，IDEA-MCTS（Instruction Data Enhancement using Monte Carlo Tree Search），即一个高效合成指令的可扩展框架。通过树状搜索和评估模型，它可以高效地引导每条指令演化为高质量的形式，从而辅助指令微调。实验结果表明，IDEA-MCTS显著增强了初始指令数据，将质量、多样性和复杂度的平均评估分数从2.19提升到3.81。此外，在开放域基准测试中，实验结果表明，IDEA-MCTS将大语言模型在低资源环境下的实际指令跟随能力准确率提升了平均5%。
引用
@article{arxiv.2410.10392,
title = {Optimizing Instruction Synthesis: Effective Exploration of Evolutionary Space with Tree Search},
author = {Chenglin Li and Qianglong Chen and Zhi Li and Feng Tao and Yicheng Li and Hao Chen and Fei Yu and Yin Zhang},
journal= {arXiv preprint arXiv:2410.10392},
year = {2024}
}