面向自然语言理解中带噪标签的知识蒸馏
计算与语言
2021-09-22 v1
摘要
知识蒸馏(KD)被广泛用于压缩大型预训练语言模型并将其部署在边缘设备上以用于实际应用场景。然而，一个被忽视的研究领域是噪声(损坏)标签对KD的影响。据我们所知，我们提出了首个关于自然语言理解(NLU)中带噪标签KD的研究。我们界定了问题的范围并提出了两种缓解标签噪声影响的方法。在GLUE基准上的实验表明，即便在高噪声水平下我们的方法依然有效。尽管如此，我们的结果表明，要应对KD下的标签噪声，仍需更多研究。
引用
@article{arxiv.2109.10147,
title = {Knowledge Distillation with Noisy Labels for Natural Language Understanding},
author = {Shivendra Bhardwaj and Abbas Ghaddar and Ahmad Rashid and Khalil Bibi and Chengyang Li and Ali Ghodsi and Philippe Langlais and Mehdi Rezagholizadeh},
journal= {arXiv preprint arXiv:2109.10147},
year = {2021}
}