预训练 Transformer 同分布校准的实用技巧集
计算与语言
2023-02-15 v1 机器学习
摘要
尽管预训练语言模型（PLMs）已成为提升文本分类任务准确率的事实上标准，但近期研究发现 PLMs 常常做出过度自信的预测。尽管已提出多种校准方法，如集成学习和数据增强，但大多数方法在计算机视觉基准上而非基于 PLM 的文本分类任务中得到验证。本文针对 PLMs 的置信度校准展开实证研究，涵盖三类方法：置信度惩罚损失、数据增强和集成方法。我们发现过拟合训练集的集成模型表现出较差的校准性能，并观察到使用置信度惩罚损失训练的 PLMs 在校准与准确率之间存在权衡。基于这些观察，我们提出了 Calibrated PLM（CALL），一种校准技术的组合。CALL 弥补了单独使用某种校准方法时可能出现的缺陷，并同时提升了分类与校准准确率。我们广泛研究了 CALL 训练流程中的设计选择，并详细分析了校准技术如何影响 PLMs 的校准性能。
引用
@article{arxiv.2302.06690,
title = {Bag of Tricks for In-Distribution Calibration of Pretrained Transformers},
author = {Jaeyoung Kim and Dongbin Na and Sungchul Choi and Sungbin Lim},
journal= {arXiv preprint arXiv:2302.06690},
year = {2023}
}