解读深度学习输出用于分布外检测

常用的 AI 网络在其预测中非常自信，即便某一决策的证据并不可靠。调查深度学习模型输出对于理解其决策过程并评估其能力与局限至关重要。通过分析原始网络输出向量的分布，可观察到每个类别自有其决策边界，因此相同的原始输出值对不同类别具有不同的支持度。受此事实启发，我们开发了一种用于分布外（OOD）检测的新方法。该方法在简单对 softmax 输出进行阈值处理之外提供了迈向理解与解释模型学习过程及其输出的解释性一步。它不为呈现给网络的每个新样本分配最高 logit 的类别标签，而是考虑所有类别上的分布。基于联合 logit 值相对于各自正确与错误类别分布的关系，构建了概率分数解释器（PSI）。PSI 提示样本是否可能属于特定类别、网络是否不确定，或样本是否可能为网络的离群点或未知类型。简单的 PSI 具有可应用于已训练网络的优点。每个输出节点的正确与错误类别分布只需将训练样本通过已训练网络即可建立。我们在一个具有挑战性的透射电子显微镜病毒图像数据集上演示了我们的 OOD 检测方法。我们模拟了一个真实应用场景，其中由训练好的病毒分类器未知、但以相同程序和仪器获取的病毒类型图像构成 OOD 样本。