单边缘预测在捕捉 aleatoric 不确定性方面的性能

单边缘预测是一种模型无关的方法，用于生成覆盖真实类别的高概率预测集合。尽管其预测集合大小预期能捕捉 aleatoric 不确定性，但关于其有效性的证据仍不足。文献表明预测集合大小可上界 aleatoric 不确定性，或预测集合在困难实例上较大、简单实例上较小，但对这一属性的验证仍缺失。本文研究单边缘预测器如何有效量化 aleatoric 不确定性，具体而言是由类别重叠导致的数据内在歧义所致。我们通过测量预测集合大小与每个实例由人类标注者分配的不同标签数量之间的相关性来实现这一目标。进一步评估预测集合与人类提供的标注之间的相似性。我们使用三种单边缘预测方法为八个深度学习模型在四个数据集上生成预测集合。这些数据集包含来自五至五十名参与者的多重人类标注，使我们能够识别类别重叠。我们显示，绝大多数单边缘预测输出显示出非常弱到弱的相关性，仅有少数显示出中等相关性。这些发现强调了需要关键性地重新评估使用单边缘预测器生成的预测集合。尽管它们可以提供更高的真实类别覆盖率，但其在捕捉 aleatoric 不确定性和生成与人类标注一致的集合方面的能力仍有限。