ACCORD：基于路由和动态注意力的自回归约束满足生成用于组合优化
机器学习
2025-06-16 v1 人工智能
摘要
大型语言模型（LLM）已展现出惊人的推理能力，但其直接应用于 NP 难组合问题（CP）仍受到忽视。本文系统性地探讨了 LLM 在各种 NP 难组合优化任务上的推理能力，并引入 ACCORD：Autoregressive Constraint-satisfying generation for COmbinatorial optimization with Routing and Dynamic attention。ACCORD 特点是新颖的数据表示和模型架构，利用 LLM 的自回归特性动态强制可行性约束，结合基于注意力的路由以激活问题特定的 LoRA 模块。我们还提出了 ACCORD-90k 监督数据集，涵盖六类 NP 难组合问题：旅行商问题（TSP）、车辆路径问题（VRP）、背包问题、流水线问题（FlowShop）、作业调度问题（JSSP）和箱包问题（BinPacking）。广泛的实验表明，我们基于 8B 参数 Llama backbone 的 ACCORD 模型在标准提示和输入输出方法上表现一致，甚至在与更大规模的 LLM（如 GPT-4）进行比较时也表现出色。消融研究进一步表明，我们的输出结构有助于提高解的可行性。就本文所述，ACCORD 是首个针对广泛组合优化问题的大规模、端到端框架，旨在探索 LLM 的应用。代码已公开发布于 https://github.com/starjob42/ACCORD
引用
@article{arxiv.2506.11052,
title = {ACCORD: Autoregressive Constraint-satisfying Generation for COmbinatorial Optimization with Routing and Dynamic attention},
author = {Henrik Abgaryan and Tristan Cazenave and Ararat Harutyunyan},
journal= {arXiv preprint arXiv:2506.11052},
year = {2025}
}