SEO: 面向大型语言模型的随机经验优化
计算与语言
2025-01-09 v1
摘要
大型语言模型（LLM）可以从有用经验中受益，以提高其在特定任务上的性能。然而，为不同LLM找到有帮助的经验并不明显，因为不清楚哪些经验适合特定的LLM。先前的研究试图使用LLM自动寻找有用经验，但难以确保所获经验的有效性。本文提出随机经验优化（SEO），一种迭代方法，通过自然语言中的经验更新，在不修改模型参数的情况下找到优化的模型特定经验。在SEO中，我们提出了一种随机验证方法，以确保经验的更新方向，避免无效更新。在三个LLM的三个任务上的实验结果表明，由SEO优化的经验能够实现持续改进的性能。进一步分析表明，SEO优化的经验可以泛化到分布外数据，提升LLM在类似任务上的性能。
引用
@article{arxiv.2501.04393,
title = {SEO: Stochastic Experience Optimization for Large Language Models},
author = {Jitao Xu and Hongyun Zhou and Lei Shen and Conghui Zhu and Jin Huang and Yitao Duan},
journal= {arXiv preprint arXiv:2501.04393},
year = {2025}
}