小型语言模型是否是低资源语言机器翻译的银弹？
计算与语言
2025-08-25 v3
摘要
低资源语言(LRL)缺乏足够的语言资源，在基准数据集中被低估，导致其机器翻译质量持续低于高资源语言，尤其在隐私敏感和资源受限的上下文中。首先，本研究系统评估了最新的小型大语言模型在200种语言中的表现，使用FLORES-200基准测试，突显了LRL翻译中持续的不足和差异。为缓解这些限制，我们通过监督微调从大型预训练教师模型到小型语言模型(SLM)进行知识蒸馏。结果显示显著改进；例如，LLM-as-a-Judge评分从0.36提升至0.89（EN到LB的翻译性能，验证集中Llama-3.2-3B）。我们进一步探讨了各种微调配置和任务，以阐明数据规模与训练效率之间的权衡，验证模型在训练后保留其通用能力而未出现显著的灾难性遗忘，并探索了SLM在其他LRL（Khasi、阿萨姆语和乌克兰语）上的蒸馏效益。总体而言，本工作暴露了当前SLM在LRL翻译中的局限性和公平性问题，并系统探索了从大型到小型模型知识蒸馏的潜力，为改进LRL翻译系统提供了实用且以经验为依据的建议。
引用
@article{arxiv.2503.24102,
title = {Is Small Language Model the Silver Bullet to Low-Resource Languages Machine Translation?},
author = {Yewei Song and Lujun Li and Cedric Lothritz and Saad Ezzini and Lama Sleem and Niccolo Gentile and Radu State and Tegawendé F. Bissyandé and Jacques Klein},
journal= {arXiv preprint arXiv:2503.24102},
year = {2025}
}