基于 Venn–ABERS 预测器的自然语言理解模型校准
计算与语言
2022-07-18 v2 机器学习
摘要
Transformer 作为当前自然语言理解（NLU）任务中的最优模型，容易产生未校准的预测或极端概率，使得基于其输出进行不同决策的过程相对困难。本文提出基于若干预训练 Transformer 构建多个归纳式 Venn–ABERS 预测器（IVAP），这些预测器在最小假设下保证良好校准。我们在一系列多样化的 NLU 任务上测试了其性能，结果表明它们能够生成在 [0,1] 区间内均匀分布的、良好校准的概率预测——同时保持原模型的预测准确率。
引用
@article{arxiv.2205.10586,
title = {Calibration of Natural Language Understanding Models with Venn--ABERS Predictors},
author = {Patrizio Giovannotti},
journal= {arXiv preprint arXiv:2205.10586},
year = {2022}
}
备注
Accepted at the 11th Symposium on Conformal and Probabilistic Prediction with Applications - COPA 2022