探索 NLP 中的预测不确定性与校准：方法与数据稀缺性影响研究
计算与语言
2022-10-28 v1 人工智能
机器学习
摘要
我们通过低资源语言的视角研究确定神经分类器预测置信度（或反之，不确定性）的问题。通过在三种不同语言上对子采样数据集进行模型训练，我们评估了一系列方法的估计质量及其对可用数据量的依赖。我们发现，尽管基于预训练模型和集成的方法总体上取得了最佳结果，但不确定性估计的质量却可能随着数据增多而令人惊讶地下降。我们还对序列上的不确定性进行了定性分析，发现模型的总不确定性似乎在很大程度上受其数据不确定性而非模型不确定性的影响。所有模型实现均已在一个软件包中开源。
引用
@article{arxiv.2210.15452,
title = {Exploring Predictive Uncertainty and Calibration in NLP: A Study on the Impact of Method & Data Scarcity},
author = {Dennis Ulmer and Jes Frellsen and Christian Hardmeier},
journal= {arXiv preprint arXiv:2210.15452},
year = {2022}
}