用于分布外检测的极简激活整形方法
机器学习
2023-05-03 v2 计算机视觉与模式识别
摘要
机器学习模型训练与部署的分离意味着部署中遇到的并非所有场景都能在训练时被预见，因此仅依赖训练方面的进展有其局限。分布外（OOD）检测是一个重要领域，它压力测试模型处理未见情况的能力：模型是否知道它不知道？现有的OOD检测方法要么带来额外的训练步骤、额外数据，要么对训练好的网络进行非平凡修改。相反，在这项工作中，我们提出一种极简的、事后处理的、即时激活整形方法ASH，其中样本在较深层的大部分（如90%）激活被移除，其余（如10%）被简化或轻微调整。该整形在推理时应用，且不需要从训练数据计算任何统计量。实验表明，如此简单的处理增强了分布内与分布外区分度，从而在ImageNet上实现最先进的OOD检测，且不会明显损害分布内准确率。视频、动画和代码可在：https://andrijazz.github.io/ash 找到。
引用
@article{arxiv.2209.09858,
title = {Extremely Simple Activation Shaping for Out-of-Distribution Detection},
author = {Andrija Djurisic and Nebojsa Bozanic and Arjun Ashok and Rosanne Liu},
journal= {arXiv preprint arXiv:2209.09858},
year = {2023}
}
备注
Accepted paper at ICLR 2023. 22 pages (9 main + appendix), 9 figures