基于大语言模型的配置验证
软件工程
2024-04-03 v2 人工智能
操作系统
摘要
错误配置是软件故障的主要原因。现有实践依赖开发者编写的规则或测试用例来验证配置，成本高昂。用于配置验证的机器学习（ML）被视为一个有前景的方向，但一直面临诸如需要大规模现场数据和系统特定模型等挑战。大语言模型（LLM）的最新进展显示出解决基于 ML 的配置验证一些长期局限性的潜力。我们提出了关于使用 LLM 进行配置验证的可行性与有效性的首次分析。我们通过开发一个名为 Ciri 的通用基于 LLM 的配置验证框架，对作为配置验证器的 LLM 进行实证评估。Ciri 采用基于有效配置与错误配置数据的少样本学习进行有效提示工程。Ciri 在产生结果时检查 LLM 的输出，以解决 LLM 的幻觉与非确定性问题。我们使用十个广泛部署的开源系统的配置数据，在八个流行 LLM 上评估 Ciri 的验证有效性。我们的分析（1）确认了使用 LLM 进行配置验证的潜力，（2）探索了如 Ciri 般基于 LLM 的验证器的设计空间，以及（3）揭示了开放挑战，例如对某些类型错误配置的检测无效以及对流行配置参数的偏向。
引用
@article{arxiv.2310.09690,
title = {Configuration Validation with Large Language Models},
author = {Xinyu Lian and Yinfang Chen and Runxiang Cheng and Jie Huang and Parth Thakkar and Minjia Zhang and Tianyin Xu},
journal= {arXiv preprint arXiv:2310.09690},
year = {2024}
}