T2FNorm：用于OOD检测的极简缩放训练时特征归一化
计算机视觉与模式识别
2023-06-09 v2
摘要
神经网络因其过度自信的预测而闻名，这对它们在现实应用中的安全部署构成了重大挑战。尽管特征归一化在深度学习文献中已受到相当关注，当前用于分布外(OOD)检测的训练时正则化方法尚未充分利用这一潜力。事实上，在神经网络中朴素地引入特征归一化并不能保证OOD检测性能的实质提升。本工作中，我们提出T2FNorm，一种在训练期间将特征变换到超球面空间、同时采用非变换空间进行OOD打分的新方法。该方法在分布内(ID)不损害模型精度的前提下，带来了OOD检测能力的惊人提升。我们的研究表明，所提技术大幅减小了所有样本特征的范数，对分布外样本尤为显著，从而应对了神经网络中普遍存在的过度自信问题。所提方法还显著改进了多种事后OOD检测方法。
引用
@article{arxiv.2305.17797,
title = {T2FNorm: Extremely Simple Scaled Train-time Feature Normalization for OOD Detection},
author = {Sudarshan Regmi and Bibek Panthi and Sakar Dotel and Prashnna K. Gyawali and Danail Stoyanov and Binod Bhattarai},
journal= {arXiv preprint arXiv:2305.17797},
year = {2023}
}