表征不确定性来源以代理校准并消歧标注者偏差与数据偏差
机器学习
2019-10-08 v2 机器学习
摘要
对于标注者可能合理存在分歧的复杂现象（如情感识别），支持模型可解释性是一项具有挑战性的机器学习任务。在这项工作中，我们展示了在此类设定中显式量化不确定性具有可解释性方面的益处。我们使用蒙特卡洛丢弃法对经典网络推理进行简单修改，以给出认知不确定性和偶然不确定性的度量。我们识别出偶然不确定性与人类标注者分歧之间存在显著相关性（r ≈ 0.3）。此外，我们展示了如何利用偶然不确定性识别困难且主观的训练样本，以及认知不确定性如何揭示可能导致不公平预测的数据偏差。我们确定总不确定性是模型校准（即我们信任模型预测置信度的程度）的一个合适代理。除了可解释性方面的益处，我们还观察到通过整合模型不确定性带来了适度的性能提升。
引用
@article{arxiv.1909.09285,
title = {Characterizing Sources of Uncertainty to Proxy Calibration and Disambiguate Annotator and Data Bias},
author = {Asma Ghandeharioun and Brian Eoff and Brendan Jou and Rosalind W. Picard},
journal= {arXiv preprint arXiv:1909.09285},
year = {2019}
}
备注
Accepted for presentation at 2019 ICCV Workshop on Interpreting and Explaining Visual Artificial Intelligence Models