LLM 支持的自然语言到 Bash 翻译
计算与语言
2025-02-12 v1 人工智能
摘要
Bourne-Again Shell (Bash) 命令行界面用于 Linux 系统具有复杂的语法，需广泛的专业知识。使用大语言模型 (LLM) 的自然语言到 Bash 命令 (NL2SH) 翻译功能进行命令组合可规避这些问题。然而，由于测试数据不准确以及确定 Bash 命令功能等价性的不可靠启发式方法，LLM 的 NL2SH 性能难以评估。我们提供了一个手动验证的 600 对指令-命令对的测试数据集和 40,939 对的训练数据集，分别将之前数据集的大小提高了 441% 和 135%。进一步，我们提出了一种新颖的功能等价性启发式方法，将命令执行与 LLM 对命令输出的评估相结合。我们的启发式方法可以 95% 的置信度确定两个 Bash 命令的功能等价性，这比之前的启发式方法提高了 16%。使用我们的数据集和启发式方法对流行的 LLM 进行评估显示，解析、情境学习、权重学习和受限解码可使 NL2SH 准确率提高最高可达 32%。我们的发现强调了数据质量、基于执行的评估和翻译方法在推动 NL2SH 翻译方面的重要性。我们的代码可在 https://github.com/westenfelder/NL2SH 上获取。
引用
@article{arxiv.2502.06858,
title = {LLM-Supported Natural Language to Bash Translation},
author = {Finnian Westenfelder and Erik Hemberg and Miguel Tulla and Stephen Moskal and Una-May O'Reilly and Silviu Chiricescu},
journal= {arXiv preprint arXiv:2502.06858},
year = {2025}
}
备注
13 pages, NAACL 2025