一种基于 t 分布的算子用于增强神经网络分类器的分布外鲁棒性
信号处理
2020-10-12 v3 计算机视觉与模式识别
机器学习
机器学习
摘要
神经网络（NN）分类器会对训练期间未出现过的样本（分布外样本）赋予极端概率，从而导致错误且不可靠的预测。这一不良行为的成因之一在于标准 softmax 算子的使用，该算子将后验概率推向零或一，因而无法对不确定性建模。softmax 算子的统计推导依赖于如下假设：给定类别的潜变量分布为已知方差的高斯分布。然而，在同一推导中也可采用不同假设，从而由其他分布族得到相应算子。这允许推导出具有更有利性质的新算子。本文提出一种新算子，其推导采用能够提供更好不确定性描述的 分布。研究表明，采用该新算子的分类器对分布外样本更具鲁棒性，常优于使用标准 softmax 算子的神经网络。这些增强仅需对神经网络架构做极小改动即可实现。
引用
@article{arxiv.2006.05389,
title = {A t-distribution based operator for enhancing out of distribution robustness of neural network classifiers},
author = {Niccolò Antonello and Philip N. Garner},
journal= {arXiv preprint arXiv:2006.05389},
year = {2020}
}
备注
5 pages, 5 figures, to be published in IEEE Signal Processing Letters, reproducible code https://github.com/idiap/tsoftmax