探究大语言模型在自然语言到形式语言转换中的（反）构成能力
计算与语言
2025-02-24 v2
摘要
要实现自然语言到形式语言转换（N2F）的通用且稳健的能力，大语言模型（LLMs）需要具备在面对不熟悉的形式语言时进行 N2F 解构与构成的强大能力，并能应对构成性间隙与反直觉符号名称。为探究 LLMs 在 N2F 中是否具备这些基本能力，我们提出了 DEDC 框架。该框架半自动执行样本与任务构建，允许对 LLMs 在 N2F 中解构与构成能力进行解耦评估。基于该框架，我们评估并分析了最先进的 LLMs，主要发现包括：(1) LLMs 在解构与构成方面存在不足；(2) LLMs 显示出广泛的错误类型，这些错误可归因于自然语言理解能力不足以及学习与使用符号系统的能力不足；(3) 构成性间隙与反直觉符号名称均影响 LLMs 的解构与构成。我们的工作为探究 LLMs 在 N2F 中解构与构成的基本能力提供了新视角。对不足与归因的详细分析可帮助后续改进 LLMs。
引用
@article{arxiv.2501.14649,
title = {Investigating the (De)Composition Capabilities of Large Language Models in Natural-to-Formal Language Conversion},
author = {Ziyao Xu and Houfeng Wang},
journal= {arXiv preprint arXiv:2501.14649},
year = {2025}
}
备注
Accepted at NAACL 2025 main conference