何时接受自动化预测，何时 defer 给人类判断？
机器学习
2024-08-14 v2 机器学习
摘要
确保自动化决策的可靠性和安全性至关重要。众所周知，机器学习中的数据分布迁移会产生不可靠的结果。本文提出了一种新方法，用于量化分布迁移下的预测可靠性。我们分析训练神经网络输出如何变化，使用聚类来衡量输出与类质心之间的距离。我们将该距离作为分布迁移下预测置信度的度量标准。我们将每个预测分配给一个聚类，其质心代表给定类的正确预测的平均softmax输出。我们然后定义一个类的安全阈值为距离错误预测到该类质心的最小距离。我们在使用卷积神经网络(CNN)和Vision Transformer分别在MNIST和CIFAR-10数据集上进行评估。结果表明，该方法在这些数据集和网络模型之间保持一致，并表明所提出的度量标准可为在分布迁移下确定自动化预测是否可接受以及何时应 defer 给人类操作员提供一种有效的方法。
引用
@article{arxiv.2407.07821,
title = {When to Accept Automated Predictions and When to Defer to Human Judgment?},
author = {Daniel Sikar and Artur Garcez and Tillman Weyde and Robin Bloomfield and Kaleem Peeroo},
journal= {arXiv preprint arXiv:2407.07821},
year = {2024}
}
备注
9 pages, 10 figures, 3 tables