面向分布外检测的跨表示空间联合分布建模
机器学习
2021-03-31 v2 计算机视觉与模式识别
摘要
深度神经网络（DNNs）已成为许多现代软件应用的关键组成部分。在经过训练和验证后，DNN 作为不可撤销的组件被部署并应用于真实场景。尽管大多数 DNN 都是利用海量训练数据精心构建的，真实世界中的数据对 DNN 模型仍属未知，这导致了运行时常态分布外（OOD）检测的迫切需求。然而，许多现有方法 1）需要 OOD 数据用于分类器训练或参数调优，或 2）简单地将各隐藏层分数组合作为特征集成进行 OOD 检测。本文从生成式视角对分布内数据提出新见解，将其各隐藏层生成的潜特征视为跨表示空间的联合分布。由于仅分布内潜特征在表示空间中被充分理解，分布内与 OOD 数据间的内部差异可在无任何 OOD 数据干预下自然显现。具体而言，我们构建称为潜序贯高斯混合（Latent Sequential Gaussian Mixture, LSGM）的生成模型，以刻画分布内潜特征如何依据 DNN 跨表示空间推理的轨迹生成。我们首先基于分布内潜特征为每个隐藏层构建高斯混合模型（GMM），随后通过推理轨迹的转移概率连接各 GMM。在流行基准 OOD 数据集和模型上的实验评估验证了所提方法相对于 SOTA 方法在 OOD 检测中的优越性。
引用
@article{arxiv.2103.12344,
title = {Joint Distribution across Representation Space for Out-of-Distribution Detection},
author = {JingWei Xu and Siyuan Zhu and Zenan Li and Chang Xu},
journal= {arXiv preprint arXiv:2103.12344},
year = {2021}
}
备注
Submitted to a conference of computer vision