神经元激活覆盖：重新审视分布外检测与泛化
机器学习
2024-03-12 v3
摘要
分布外（OOD）问题通常出现于神经网络遭遇显著偏离训练数据分布（即分布内，InD）的数据时。本文从神经元激活视角研究OOD问题。我们首先通过同时考虑神经元输出及其对模型决策的影响来形式化神经元激活状态。继而，为刻画神经元与OOD问题的关系，我们引入\textit{神经元激活覆盖}（NAC）——一种衡量InD数据下神经元行为的简易测度。借助NAC，我们表明：1）InD与OOD输入可基于神经元行为大幅分离，这显著简化了OOD检测问题，并在三个基准（CIFAR-10、CIFAR-100与ImageNet-1K）上击败了21种先前方法；2）NAC与模型泛化能力间的正相关性在各类架构与数据集上一致成立，从而启用基于NAC的模型鲁棒性评估准则。相较主流InD验证准则，我们表明NAC不仅能筛选更鲁棒模型，且与OOD测试性能有更强相关性。
引用
@article{arxiv.2306.02879,
title = {Neuron Activation Coverage: Rethinking Out-of-distribution Detection and Generalization},
author = {Yibing Liu and Chris Xing Tian and Haoliang Li and Lei Ma and Shiqi Wang},
journal= {arXiv preprint arXiv:2306.02879},
year = {2024}
}
备注
ICLR 2024 Spotlight