面向电信领域问答的领域适应 LLM 知识蒸馏
计算与语言
2025-04-29 v1 信息检索
机器学习
摘要
知识蒸馏 (KD) 是减少大型语言模型(LLM)规模的一种方法。一个具有较少模型参数的数目(学生)的 LLM 被训练来模仿较大规模 LLM(教师模型)在特定任务上的性能。对于领域特定任务，尚不清楚教师模型、学生模型或两者都必须进行领域适应。在本工作中，我们从电信领域问答(QA)任务的角度研究此问题。我们系统性地实验教师-only 进行监督微调(SFT)、学生-only 进行 SFT 以及在 KD 之前对两者进行 SFT。我们设计实验以研究词汇表(相同和不同)和 KD 算法(普通 KD 和 Dual Space KD, DSKD)对蒸馏模型的影响。对该蒸馈进行多方面评估，使用 14 种不同的指标(N-gram、嵌入和 LLM-based 指标)。实验结果表明，教师进行 SFT 可在两者词汇表相同的情况下提升蒸馈模型性能，无论算法和指标。总体而言，教师和学生两者进行 SFT 在所有指标上均表现更好，尽管其统计显著性取决于教师模型的词汇表。
引用
@article{arxiv.2504.20000,
title = {Knowledge Distillation of Domain-adapted LLMs for Question-Answering in Telecom},
author = {Rishika Sen and Sujoy Roychowdhury and Sumit Soman and H. G. Ranjani and Srikhetra Mohanty},
journal= {arXiv preprint arXiv:2504.20000},
year = {2025}
}
备注
10 pages, 4 figures, 3 tables