LM4OPT：揭示大语言模型在构建数学优化问题中的潜力
计算与语言
2024-03-05 v1 信息检索
摘要
在自然语言处理领域快速发展的背景下，将语言描述转化为优化问题的数学公式是一项艰巨的挑战，需要大语言模型 (LLMs) 具备复杂的理解和处理能力。本研究比较了 GPT-3.5、GPT-4 和 Llama-2-7b 等主流 LLMs 在零样本和单样本设置下执行此任务的表现。我们的发现表明 GPT-4 具有卓越的性能，特别是在单样本场景中。本研究的核心部分是引入了 `LM4OPT'，这是一个针对 Llama-2-7b 的渐进式微调框架，利用了噪声嵌入和专用数据集。然而，这项研究突显了较小模型（如 Llama-2-7b）与较大模型相比在上下文理解能力上的显著差距，尤其是在处理 lengthy 和复杂输入上下文时。我们利用 NL4Opt 数据集进行的实证调查显示，GPT-4 超越了先前研究建立的基线性能，仅基于自然语言的问题描述而不依赖任何额外的命名实体信息，就达到了 0.63 的 F1 分数。GPT-3.5 紧随其后，两者均优于微调后的 Llama-2-7b。这些发现不仅基准测试了 LLMs 在这一新应用领域的当前能力，也为未来从自然语言输入构建优化问题数学公式的改进奠定了基础。
引用
@article{arxiv.2403.01342,
title = {LM4OPT: Unveiling the Potential of Large Language Models in Formulating Mathematical Optimization Problems},
author = {Tasnim Ahmed and Salimur Choudhury},
journal= {arXiv preprint arXiv:2403.01342},
year = {2024}
}