通过大语言模型理解电信语言
计算与语言
2023-06-14 v1 人工智能
摘要
人工智能（AI）的最新进展为自动化电信网络设计、实现和部署中的许多任务开辟了新的前沿。随着生成式人工智能（AI）的发展，包括大语言模型（LLMs）的出现，这一趋势进一步推进，其被认为是实现自治、交互式 AI 代理的基石。受此启发，本文旨在将 LLM 的范式适配到电信领域。具体而言，我们将包括 BERT、distilled BERT、RoBERTa 和 GPT-2 在内的若干 LLM 微调至电信领域语言，并展示了一个用于识别第三代合作伙伴计划（3GPP）标准工作组的用例。我们考虑在 2009-2019 年相关的 3GPP 技术文档（Tdoc）上训练所选模型，并预测 2020-2023 年的 Tdoc 类别。结果表明，微调 BERT 和 RoBERTa 模型达到了 84.6% 的准确率，而 GPT-2 模型在识别 3GPP 工作组时达到 83%。参数减少约 50% 的 distilled BERT 模型取得了与其他模型相近的性能。这证实了微调预训练 LLM 能有效识别电信语言的类别。所开发的框架显示了从电信语言实现意图驱动和自演化无线网络的垫脚石，并为在电信领域实现生成式 AI 铺平了道路。
引用
@article{arxiv.2306.07933,
title = {Understanding Telecom Language Through Large Language Models},
author = {Lina Bariah and Hang Zou and Qiyang Zhao and Belkacem Mouhouche and Faouzi Bader and Merouane Debbah},
journal= {arXiv preprint arXiv:2306.07933},
year = {2023}
}