基于超球面空间与重平衡精度-不确定性损失的意图检测置信度校准
计算与语言
2022-03-18 v1
摘要
数据驱动的方法在意图检测（一项理解用户查询的任务）上取得了显著性能。然而，它们因过度自信的预测而存在争议。在某些场景中，用户不仅关注模型的准确率，也关注其置信度。遗憾的是，主流神经网络校准较差，准确率与置信度之间存在较大差距。为处理这一被称为置信度校准的问题，我们提出了一种使用超球面空间与重平衡精度-不确定性损失的模型。具体而言，我们将标签向量均匀投影到超球面空间以生成稠密标签表示矩阵，从而缓解因过拟合稀疏独热标签矩阵导致的过度自信预测。此外，我们对不同精度与不确定性的样本进行重平衡，以更好地指导模型训练。在开放数据集上的实验验证了我们的模型优于现有校准方法，并在校准指标上取得显著提升。
引用
@article{arxiv.2203.09278,
title = {Confidence Calibration for Intent Detection via Hyperspherical Space and Rebalanced Accuracy-Uncertainty Loss},
author = {Yantao Gong and Cao Liu and Fan Yang and Xunliang Cai and Guanglu Wan and Jiansong Chen and Weipeng Zhang and Houfeng Wang},
journal= {arXiv preprint arXiv:2203.09278},
year = {2022}
}