学习何时说“我不知道”

我们提出一种新的拒绝选项分类技术，用于识别并移除给定神经分类器与数据集中决策空间的不确定性区域。此类已有方法采用学习到的拒绝（移除）/选择（保留）函数，且要么需要已知的拒绝样本代价，要么对所选样本的精度或覆盖率施加强约束。我们考虑一种替代公式，转而分析互补的拒绝区域，并利用验证集学习逐类 softmax 阈值。目标是在对拒绝样本施加自然随机性容许（拒绝的错误预测多于正确预测）的条件下，最大化所选样本的精度。我们给出的结果表明，在使用最先进的预训练模型、基于二维点、图像与文本分类数据集的实验中，所提方法优于朴素地对已校准/未校准 softmax 分数进行阈值化的做法。源代码见 https://github.com/osu-cvl/learning-idk。