绘制曲率草图以实现深度神经网络的高效分布外检测
机器学习
2021-02-26 v1
摘要
为了在安全地将深度神经网络（DNNs）部署于实时决策系统的感知流水线中，需要能够高效且准确地检测训练分布外（OoD）输入的防护机制。基于近期利用 DNN 局部曲率推断认知不确定性（epistemic uncertainty）的工作，我们提出分布外检测曲率草图（SCOD），一种与架构无关的框架，用于为任何已训练 DNN 配备任务相关的认知不确定性估计。离线时，给定训练好的模型及其训练数据，SCOD 借助矩阵草图（matrix sketching）工具可处理地计算 Fisher 信息矩阵的低秩近似，该矩阵刻画了权重空间中哪些方向对训练数据上的预测影响最大。在线时，我们通过测量垂直于这些方向的扰动能在新测试输入上改变预测的程度来估计不确定性。我们将 SCOD 应用于多个任务上不同架构的预训练网络，范围从回归到分类。我们证明，相对于现有基线，SCOD 以更低的计算负担实现了相当或更好的 OoD 检测性能。
引用
@article{arxiv.2102.12567,
title = {Sketching Curvature for Efficient Out-of-Distribution Detection for Deep Neural Networks},
author = {Apoorva Sharma and Navid Azizan and Marco Pavone},
journal= {arXiv preprint arXiv:2102.12567},
year = {2021}
}