换名后的背包问题：问题呈现方式影响 LLM 在 NP-hard 问题上的表现
计算与语言
2025-10-21 v2 计算复杂性
摘要
为了研究问题呈现方式对 LLMs 解决优化问题能力的影响，我们引入了日常困难优化问题（EHOP）数据集，这是一个用自然语言表述的 NP-hard 问题集合。EHOP 包括可在计算机科学教科书中找到的问题表述（例如，图着色）、包装成现实生活中可能出现的问题版本（例如，派对策划），以及规则反转的变体。我们发现，最先进的 LLMs 在多种提示策略下，系统性地解决教科书问题的准确率高于其现实生活和反转版本。虽然推理模型能力更强，但它们在不同问题呈现方式上仍表现出很高的方差，表明它们缺乏真正稳健的推理机制。我们认为这构成了 LLMs 仍然严重依赖训练中所见内容，且难以泛化到新问题的证据。
关键词
引用
@article{arxiv.2502.13776,
title = {A Knapsack by Any Other Name: Presentation impacts LLM performance on NP-hard problems},
author = {Alex Duchnowski and Ellie Pavlick and Alexander Koller},
journal= {arXiv preprint arXiv:2502.13776},
year = {2025}
}
备注
24 pages, 6 figures, EMNLP 2025