预训练大语言模型网络运维能力的实证研究
计算与语言
2023-09-20 v3 人工智能
网络与互联网体系结构
摘要
如今,预训练大语言模型(LLMs)的多功能能力引起了工业界的广泛关注。然而,一些垂直领域更关注 LLM 的域内能力。针对网络领域,我们提出 NetEval,一个用于衡量 LLM 在网络运维(NetOps)中综合能力的评测集。NetEval 旨在多语言环境下评估 NetOps 中的常识知识与推理能力。NetEval 包含 5,732 道关于 NetOps 的问题,覆盖 NetOps 的五个不同子领域。借助 NetEval,我们系统评估了 26 个公开可用 LLM 的 NetOps 能力。结果表明,仅有 GPT-4 能取得与人类具竞争力的表现。不过,一些开放模型如 LLaMA 2 展现出显著潜力。
引用
@article{arxiv.2309.05557,
title = {An Empirical Study of NetOps Capability of Pre-Trained Large Language Models},
author = {Yukai Miao and Yu Bai and Li Chen and Dan Li and Haifeng Sun and Xizheng Wang and Ziqiu Luo and Yanyu Ren and Dapeng Sun and Xiuting Xu and Qi Zhang and Chao Xiang and Xinchi Li},
journal= {arXiv preprint arXiv:2309.05557},
year = {2023}
}