DS-UI：用于不确定性推断的高斯混合模型混合双监督方法
机器学习
2021-11-24 v1 机器学习
摘要
本文提出一种双监督不确定性推断（DS-UI）框架，用于改进基于深度神经网络（DNN）的图像识别中基于贝叶斯估计的不确定性推断（UI）。在DS-UI中，我们将DNN的分类器（即最后的 fully-connected（FC）层）与高斯混合模型混合（MoGMM）结合，得到MoGMM-FC层。与现有的仅计算DNN输出分布均值或模的DNN不确定性推断方法不同，所提出的MoGMM-FC层充当分类器输入特征的概率解释器，直接为其计算概率密度以用于DS-UI。此外，我们提出一种用于MoGMM-FC层优化的双监督随机梯度变分贝叶斯（DS-SGVB）算法。与传统的SGVB及其他UI方法中的优化算法不同，DS-SGVB不仅为每个高斯混合模型（GMM）建模特定类的样本，还考虑来自其他类的负样本以减小类内距离并同时扩大类间间隔，从而增强DS-UI中MoGMM-FC层的学习能力。实验结果表明，DS-UI在误分类检测上优于最先进的UI方法。我们进一步在开放集域外/分布外检测中评估DS-UI，发现了具有统计显著性的改进。特征空间的可视化展示了DS-UI的优越性。
引用
@article{arxiv.2011.08595,
title = {DS-UI: Dual-Supervised Mixture of Gaussian Mixture Models for Uncertainty Inference},
author = {Jiyang Xie and Zhanyu Ma and Jing-Hao Xue and Guoqiang Zhang and Jun Guo},
journal= {arXiv preprint arXiv:2011.08595},
year = {2021}
}