KD4MT：知识蒸馏在机器翻译领域的综述
计算与语言
2026-02-19 v1
摘要
知识蒸馏（KD）作为一个研究领域，近年来因作为应对NLP中日益增大的模型而获得了大量关注。值得注意的是，机器翻译（MT）对这一叙述提供了更为细致的视角：在MT中，KD还作为一种通用的知识迁移机制，塑造监督信息和翻译质量，以及效率。本综述涵盖截至2025年10月1日为止的105篇关于KD4MT（知识蒸馏用于机器翻译）论文。我们首先为非专家介绍MT和KD，随后概述适用于MT应用的标准KD方法。随后，我们根据（i）其方法论贡献和（ii）实际应用进行分类。我们的定性和定量分析识别出该领域的常见趋势，突出了关键研究空白以及对KD方法在MT中缺乏统一评估实践的问题。我们进一步提供了在具体情境中选择KD方法的实用指南，指出将KD应用于MT可能带来的风险，如增加幻觉和偏见放大。最后，我们讨论了LLM在重塑KD4MT领域中的作用。为支持进一步的研究，我们补充了一份公开的数据库，概述了所调查的KD方法的主要特征，并附上了关键术语的术语表。
引用
@article{arxiv.2602.15845,
title = {KD4MT: A Survey of Knowledge Distillation for Machine Translation},
author = {Ona de Gibert and Joseph Attieh and Timothee Mickus and Yves Scherrer and Jörg Tiedemann},
journal= {arXiv preprint arXiv:2602.15845},
year = {2026}
}
备注
Pre-print under Review submitted to Computational Linguistics Journal