VRA：用于分布外检测的变化整流激活
机器学习
2023-05-19 v4
摘要
分布外（OOD）检测对于在开放世界中构建可靠的机器学习系统至关重要。研究者已提出多种策略以降低模型在 OOD 数据上的过度自信。其中，ReAct 是一种典型且有效的处理模型过度自信的技术，它通过截断高激活值来增大分布内与 OOD 之间的差距。尽管其结果令人鼓舞，但该技术是否为拉大差距的最佳选择？为回答此问题，我们利用变分方法寻找最优操作，并验证了在 OOD 检测中抑制异常低与高激活值、放大中间激活值的必要性，而非像 ReAct 那样仅关注高激活值。这促使我们提出一种称为“变化整流激活（VRA）”的新技术，其使用分段函数模拟这些抑制与放大操作。在多个基准数据集上的实验结果表明，我们的方法优于现有的事后策略。同时，VRA 兼容不同的评分函数与网络架构。我们的代码可在补充材料中找到。
引用
@article{arxiv.2302.11716,
title = {VRA: Variational Rectified Activation for Out-of-distribution Detection},
author = {Mingyu Xu and Zheng Lian and Bin Liu and Jianhua Tao},
journal= {arXiv preprint arXiv:2302.11716},
year = {2023}
}