针对分布内与分布外数据的校准语言模型微调
计算与语言
2020-10-23 v1 人工智能
机器学习
摘要
微调后的预训练语言模型由于过参数化，可能面临分布内与分布外（OOD）数据的严重误校准。为缓解此问题，我们提出一种正则化微调方法。我们的方法引入两类正则化以实现更好的校准：（1）流形上正则化，通过在数据流形内插值生成伪流形上样本。利用这些伪样本进行增广训练施加平滑正则化，以改善分布内校准。（2）流形外正则化，其鼓励模型对伪流形外样本输出均匀分布，以解决 OOD 数据的过置信问题。我们的实验表明，在六个数据集上，所提方法在期望校准误差、误分类检测和 OOD 检测方面优于现有的文本分类校准方法。我们的代码可在 https://github.com/Lingkai-Kong/Calibrated-BERT-Fine-Tuning 找到。
引用
@article{arxiv.2010.11506,
title = {Calibrated Language Model Fine-Tuning for In- and Out-of-Distribution Data},
author = {Lingkai Kong and Haoming Jiang and Yuchen Zhuang and Jie Lyu and Tuo Zhao and Chao Zhang},
journal= {arXiv preprint arXiv:2010.11506},
year = {2020}
}
备注
EMNLP2020 long paper