CodeSteer：通过代码/文本引导的符号增强语言模型
计算与语言
2025-05-30 v2 人工智能
机器学习
符号计算
软件工程
摘要
现有方法未能有效引导大语言模型（LLM）在文本推理与代码生成之间进行切换，导致符号计算能力被 underutilize。我们引入CodeSteer，一种有效引导LLM代码/文本生成的方法。我们构建了包含37个可调复杂性的符号任务基准SymBench，还合成了12k条多轮引导/生成轨迹和5.5k条引导比较对。我们针对Llama-3-8B模型采用新设计的多轮监督微调（SFT）和直接偏好优化（Direct Preference Optimization, DPO）进行微调。得到的CodeSteerLLM模型，辅以所提出的符号检查器和自答案检查器，有效引导更大模型的代码/文本生成。将CodeSteer增强的GPT-4o平均性能得分从53.3提升至86.4，甚至超过现有最佳LLM OpenAI o1（82.7）、o1-preview（74.8）和DeepSeek R1（76.8），在所有37个任务（28个见习，9个未见）中均取得优异成绩。针对GPT-4o训练的CodeSteer在Claude、Mistral和GPT-3.5上均显示出平均41.8的性能提升。CodeSteer引导的LLM充分发挥符号计算潜能，在处理高度复杂任务时仍保持强劲性能。模型、数据集和代码均可在https://github.com/yongchao98/CodeSteer-v1.0和https://huggingface.co/yongchao98 获取。
引用
@article{arxiv.2502.04350,
title = {CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance},
author = {Yongchao Chen and Yilun Hao and Yueying Liu and Yang Zhang and Chuchu Fan},
journal= {arXiv preprint arXiv:2502.04350},
year = {2025}
}
备注
28 pages, 12 figures