Tele-LLMs：面向电信领域的一系列专用大语言模型
信息论
2025-05-06 v3 人工智能
机器学习
math.IT
摘要
大语言模型的出现对从自然语言处理到医学和金融等各个领域产生了重大影响。然而，尽管大语言模型迅速普及，其在电信领域的应用仍然有限，通常依赖于缺乏领域专用特化的通用模型。这种特化的缺失导致性能不佳，特别是在处理电信专有技术术语及其相关数学表示时。本文通过首先创建并发布 Tele-Data（从相关来源精选的电信材料综合数据集）和 Tele-Eval（为该领域定制的大规模问答数据集）来填补这一空白。通过大量实验，我们探索了将大语言模型适配到电信领域的最有效训练技术，从考察电信各个方面的专业知识划分到采用参数高效技术。我们还研究了不同规模的模型在适配过程中的行为，并分析了其训练数据对该行为的影响。基于这些发现，我们开发并开源了 Tele-LLMs，这是首个参数规模从 1B 到 8B、专为电信领域定制的语言模型系列。我们的评估表明，这些模型在 Tele-Eval 和电信相关文献任务上优于其通用对应模型，同时保留了先前获得的能力，从而避免了灾难性遗忘现象。
引用
@article{arxiv.2409.05314,
title = {Tele-LLMs: A Series of Specialized Large Language Models for Telecommunications},
author = {Ali Maatouk and Kenny Chirino Ampudia and Rex Ying and Leandros Tassiulas},
journal= {arXiv preprint arXiv:2409.05314},
year = {2025}
}