TelcoLM：为 telecommunications 领域收集数据、调整和基准测试语言模型

尽管在许多任务中表现卓越，大型语言模型（LLM）仍在处理高度技术性领域时缺乏准确性。尤其是电信（telco）是一个特别具有挑战性的领域，因为其包含大量词汇、语义和概念的独特之处。然而，这一领域包含许多有价值的用例，直接链接到工业需求。因此，本文研究了如何将 LLM 适应到电信领域。它报告了我们的努力：（i）收集大量领域特定数据（8000 万 token，8 万条指令），（ii）使用各种方法进行适应，（iii）针对需要广泛了解电信知识的下游任务进行基准测试。我们在 Llama-2-7b 上的实验表明，领域适应模型可以与大型通用模型展开竞争。它们还表明，适应可以限制在唯一的指令调优步骤中，放弃对原始文本进行任何事前微调的需求。