DualSchool：LLM 用于优化教育的可靠性如何？
机器学习
2025-05-29 v1 人工智能
最优化与控制
摘要
考虑入门优化课程中教授的以下任务，该任务针对（生成式）AI 与运筹学（OR）交叉领域的社区所阐述的挑战：生成线性规划的对偶。LLMs 在网络规模上接受训练，拥有转化过程以及许多原对偶转换（P2DC）实例。因此，学生可以合理期望 LLMs 在 P2DC 任务上表现良好。为了评估这一期望，本文引入了 DualSchool，一个用于生成和验证 P2DC 实例的综合框架。DualSchool 的验证过程使用规范图编辑距离，远超现有的优化模型评估方法，后者在应用于 P2DC 时存在许多假阳性和假阴性。DualSchool 进行的实验揭示了有趣的发现。尽管 LLMs 能够准确背诵转换过程，但 SOTA 开源 LLMs 未能一致地生成正确的对偶。这一发现即使对于最小的双变量实例以及派生任务（如正确性验证、验证和错误分类）也成立。本文还讨论了对教育工作者、学生和大型推理系统开发的影响。
引用
@article{arxiv.2505.21775,
title = {DualSchool: How Reliable are LLMs for Optimization Education?},
author = {Michael Klamkin and Arnaud Deza and Sikai Cheng and Haoruo Zhao and Pascal Van Hentenryck},
journal= {arXiv preprint arXiv:2505.21775},
year = {2025}
}