先验激活分布（PAD）：一种利用 DNN 隐藏单元的通用表示
计算机视觉与模式识别
2019-07-08 v1 机器学习
摘要
本文引入先验激活分布（Prior Activation Distribution, PAD）的概念，作为一种通用且普适的技术，用于捕捉用于分类任务的深度神经网络隐藏层单元的典型激活模式。我们表明，此类隐藏层的联合神经激活具有类别特定的分布性质，进而定义了多种统计度量来计算测试样本的激活偏离此类分布的程度。利用多种基准数据集（包括 MNIST、CIFAR10、Fashion-MNIST 与 notMNIST），我们展示了此类基于 PAD 的度量如何能够在独立于任何训练技术的情况下用于：(a) 推导细粒度的推理不确定性估计；(b) 提供与需执行完整流程的替代方法相竞争的推理精度；以及 (c) 可靠地隔离分布外测试样本。
引用
@article{arxiv.1907.02711,
title = {Prior Activation Distribution (PAD): A Versatile Representation to Utilize DNN Hidden Units},
author = {Lakmal Meegahapola and Vengateswaran Subramaniam and Lance Kaplan and Archan Misra},
journal= {arXiv preprint arXiv:1907.02711},
year = {2019}
}
备注
Submitted to NeurIPS 2019