面向训练时段与事后分布外检测增强的缩放方法
计算机视觉与模式识别
2023-10-03 v1
摘要
现代深度学习系统判断样本是否落在其知识范畴内的能力是基础且重要的。本文对近期最先进的分布外（OOD）检测方法——极简激活整形（ASH）提供见解与分析。我们证明激活剪枝对 OOD 检测有损害，而激活缩放可增强之。此外，我们提出 SCALE，一种简易而有效的事后网络增强方法用于 OOD 检测，其在不损害分布内（ID）精度的前提下达到最先进的 OOD 检测性能。通过将缩放概念整合进训练过程以捕获样本的 ID 特征，我们提出中间张量整形（ISH），一种用于训练时段 OOD 检测增强的轻量方法。在 OpenOOD v1.5 ImageNet-1K 基准上，我们对近 OOD 与远 OOD 数据集分别取得 +1.85\% 与 +0.74\% 的 AUROC 提升。我们的代码与模型见于 https://github.com/kai422/SCALE。
引用
@article{arxiv.2310.00227,
title = {Scaling for Training Time and Post-hoc Out-of-distribution Detection Enhancement},
author = {Kai Xu and Rongyu Chen and Gianni Franchi and Angela Yao},
journal= {arXiv preprint arXiv:2310.00227},
year = {2023}
}