TelecomGPT：构建面向电信领域的大型语言模型框架
信号处理
2024-07-15 v1 人工智能
摘要
大型语言模型 (LLM) 有望 revolutionize 第六代 (6G) 通信网络。然而，当前主流的 LLM 缺乏电信领域的专业知识。本文首次提出了将任意通用 LLM 适配为电信专用 LLM 的管道。我们收集并构建了电信领域的 pre-train 数据集、instruction 数据集和 preference 数据集，分别用于持续预训练、指令调优和对齐调优。此外，由于缺乏电信领域广受接受的评估基准， 我们扩展了现有的评估基准，并提出了三个新的基准，包括 Telecom Math Modeling、Telecom Open QnA 和 Telecom Code Tasks。这些新的基准提供了对 LLM 在电信领域中包括数学建模、开放式问答、代码生成、填充、总结和分析等能力的全面评估。我们的微调 LLM TelecomGPT 在 Telecom Math Modeling 基准中显著优于包括 GPT-4、Llama-3 和 Mistral 在内的 state of the art (SOTA) LLM，并在各种评估基准如 TeleQnA、3GPP 技术文件分类、电信代码总结和生成以及填充等方面实现了可比的性能。
引用
@article{arxiv.2407.09424,
title = {TelecomGPT: A Framework to Build Telecom-Specfic Large Language Models},
author = {Hang Zou and Qiyang Zhao and Yu Tian and Lina Bariah and Faouzi Bader and Thierry Lestable and Merouane Debbah},
journal= {arXiv preprint arXiv:2407.09424},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:1303.2654 by other authors