基于相似-距离-幅值的通用鲁棒性验证

我们通过向现有以输出幅值（即决策边界）感知的softmax函数中加入相似性（即正确预测深度匹配到训练数据的感知）和距离感知（即对训练分布的感知），来解决神经网络鲁棒性问题。 resulting SDM激活函数提供了相对表识（可还原）预测不确定性的强信号。我们利用这一新行为，进一步解决将输出映射到人类可解释统计量的问题，这些统计量针对 held-out校准集的相关分区。通过对softmax函数最终层输出的类条件经验CDF进行精细变换，获得预测条件不确定性估计。对于决策和作为内在模型检查，进一步将已校准输出的高概率区域划分为类条件、区域特定的CDF，以获得类条件准确率估计。SDM校准得到的不确定性估计对测试时间分布偏移和超出分布输入异常具有鲁棒性；包含对有效样本量的感知；提供来自学习和数据分割过程的不确定性估计；并且适用于选择性分类和基于预测不确定性的条件分支，以进行额外的测试时间计算，如选择性LLM生成、路由和组合多个模型和检索。最后，我们构建了SDM网络，LLM带有不确定性感知验证和解释性为内在属性。我们提供开源软件实现这些结果。