通过捕获极端激活值缓解分布外检测中的过度自信
机器学习
2024-05-22 v1 人工智能
摘要
在真实场景中可靠部署机器学习模型，检测分布外（OOD）实例至关重要。通常预期 OOD 输入会在主任务中引起更不确定的预测；然而，存在一些 OOD 情形，模型对其返回高度自信的预测。这种现象被称为“过度自信”，对 OOD 检测构成了挑战。具体而言，理论证据表明，过度自信是某些神经网络架构的固有属性，导致 OOD 检测效果不佳。在这项工作中，我们通过测量神经网络倒数第二层中的极端激活值来解决这一问题，然后利用这一过度自信的代理指标来改进几种 OOD 检测基线。我们在涵盖合成数据与真实数据、表格与图像数据集、多种架构（如 ResNet 和 Transformer）、不同训练损失函数的广泛实验中测试了我们的方法，并包含了先前理论工作中考察的场景。与基线相比，我们的方法通常带来显著提升，OOD 检测 AUC 实现了两位数的增长，且在任何场景中均未损害性能。
引用
@article{arxiv.2405.12658,
title = {Mitigating Overconfidence in Out-of-Distribution Detection by Capturing Extreme Activations},
author = {Mohammad Azizmalayeri and Ameen Abu-Hanna and Giovanni Cinà},
journal= {arXiv preprint arXiv:2405.12658},
year = {2024}
}
备注
Accepted for the 40th Conference on Uncertainty in Artificial Intelligence (UAI 2024)