LLM 合成正确路由器配置需要什么？
网络与互联网体系结构
2023-07-12 v1 编程语言
摘要
我们研究大型语言模型（Large Language Model，LLM）（例如 GPT-4）是否能在减少人工投入的情况下合成正确的路由器配置。我们发现 GPT-4 单独使用时表现非常差，能生成有希望的草稿配置，但在拓扑、语法和语义上存在严重错误。我们称之为验证提示编程（Verified Prompt Programming）的策略是将 GPT-4 与验证器结合，并利用验证器提供的局部化反馈自动纠正错误。验证需要规范说明和可操作的局部化反馈才能有效。我们展示了两个用例的结果：在单台路由器上从 Cisco 配置转换为 Juniper 配置，以及在多台路由器上实施无中转（no-transit）策略。虽然仍需要人工输入，但如果我们将杠杆率定义为自动提示数与人工提示数之比，我们的实验显示 Juniper 转换的杠杆率为 10 倍，实施无中转策略的杠杆率为 6 倍，最终得到已验证的配置。
引用
@article{arxiv.2307.04945,
title = {What do LLMs need to Synthesize Correct Router Configurations?},
author = {Rajdeep Mondal and Alan Tang and Ryan Beckett and Todd Millstein and George Varghese},
journal= {arXiv preprint arXiv:2307.04945},
year = {2023}
}