神经网络中的对比推理

神经网络将数据表示为高维流形上对训练权重的投影。训练权重充当由因果类别依赖构成的知识库。建立在识别这些依赖的特征上的推断被称为前馈推断。此类推断机制基于经典的由因到果的归纳推理模型而成立。基于归纳推理的前馈推断因其数学简洁性和操作便利性而被广泛使用。然而，前馈模型对未训练情况的泛化能力不佳。为缓解该泛化挑战，我们提出使用由果到因的溯因推断模型。此处，特征表示给定某效应时现有权重依赖的变化。我们将此变化称为对比，相应推理机制称为对比推理。本文形式化了对比推理的结构并提出了提取神经网络对比概念的方法。我们在神经网络推理流程的两个阶段展示了对比推理的价值：在对象识别应用中进行推断并可视化解释决策。我们通过报告在CIFAR-10C、含噪声STL-10和VisDA数据集上所提对比框架下平均准确率分别提升3.47%、2.56%和5.48%，说明了在失真下对比识别图像的价值。