AMTSS:一种用于多语言语言推理的自适应多教师单学生知识蒸馏框架
计算与语言
2023-05-16 v1 人工智能
摘要
知识蒸馏对于将多语言预训练语言模型投入实际应用至关重要。为支持多语言环境下高性价比的语言推理,我们提出 AMTSS,一种自适应多教师单学生蒸馏框架,可将来自多个教师的知识蒸馏至单一学生。我们首先引入自适应学习策略与教师重要性权重,使学生能有效从最大间隔教师学习并轻松适应新语言。此外,我们提出带有不同投影层的共享学生编码器以支持多种语言,大幅降低了开发与机器成本。实验结果表明,AMTSS 在公开 XNLI 数据集与电商场景下的真实工业数据集 AliExpress (AE) 上取得了具竞争力的结果。
引用
@article{arxiv.2305.07928,
title = {AMTSS: An Adaptive Multi-Teacher Single-Student Knowledge Distillation Framework For Multilingual Language Inference},
author = {Qianglong Chen and Feng Ji and Feng-Lin Li and Guohai Xu and Ming Yan and Ji Zhang and Yin Zhang},
journal= {arXiv preprint arXiv:2305.07928},
year = {2023}
}