CHORUS：面向线性规划代码生成的零样本层次化检索与编排框架
人工智能
2025-05-06 v1 计算与语言
摘要
线性规划（LP）问题旨在寻找满足约束条件的目标最优解。这类问题通常需要领域知识、数学技能和编程能力，对非专业人士构成重大挑战。本研究探讨了大语言模型（LLMs）在生成特定求解器线性规划代码方面的效率。我们提出了CHORUS，一个检索增强生成（RAG）框架，用于从自然语言问题描述合成基于Gurobi的线性规划代码。CHORUS为理论内容整合了一种层次化的树状分块策略，并基于文档中的代码示例生成额外的元数据，以促进自包含、语义连贯的检索。CHORUS的两阶段检索方法以及随后的交叉编码器重排序进一步确保了上下文相关性。最后，精心设计的提示词和带有推理步骤的结构化解析器显著提升了代码生成性能。在NL4Opt-Code基准上的实验表明，与基线和传统RAG相比，CHORUS显著提升了Llama3.1 (8B)、Llama3.3 (70B)、Phi4 (14B)、Deepseek-r1 (32B)和Qwen2.5-coder (32B)等开源大语言模型的性能。它还使这些开源大语言模型能够超越或匹敌更强大的基线模型GPT3.5和GPT4的性能，同时所需的计算资源要少得多。消融研究进一步证明了专家提示、层次化分块和结构化推理的重要性。
引用
@article{arxiv.2505.01485,
title = {CHORUS: Zero-shot Hierarchical Retrieval and Orchestration for Generating Linear Programming Code},
author = {Tasnim Ahmed and Salimur Choudhury},
journal= {arXiv preprint arXiv:2505.01485},
year = {2025}
}
备注
This paper has been accepted for presentation at the 19th Learning and Intelligent Optimization Conference (LION 19)