为何 CNN 中的分布外检测不青睐马氏距离——以及该用什么替代
机器学习
2021-10-18 v1 计算机视觉与模式识别
摘要
应用于真实世界分类任务的卷积神经网络需要识别相对于已知或训练数据而言远离或分布外（OoD）的输入。为实现这一点，许多方法估计类条件后验概率并利用后验分布得到的置信度分数。近期工作提出使用多元高斯分布作为 CNN 不同层（即低层与高层特征）后验分布的模型，从而导出基于马氏距离（Mahalanobis distance）的置信度分数。然而，该过程涉及使用不足的观测数来估计高维数据中的概率密度（例如 ResNet-101 模型中最后两层的特征维度分别为 2048 与 1024，每类约用 1000 个观测来估计密度）。在本文中，我们旨在解决此问题。我们表明，在许多高维数据的 OoD 研究中，基于 LOF（局部离群因子，Local Outlierness-Factor）的方法优于基于参数化马氏距离的方法。这促使我们提出一种非参数的、基于 LOF 的 CNN 置信度分数生成方法。我们基于 ResNet-101 与 EfficientNet-B3，以 CIFAR-10 与 ImageNet 作为已知数据，以 CIFAR-100、SVHN、ImageNet2010、Places365 或 ImageNet-O 作为离群值，进行了若干可行性研究。我们证明了非参数的基于 LOF 的置信度估计能够改进当前基于马氏距离的 SOTA，或以更简单的方式取得相近性能。
引用
@article{arxiv.2110.07043,
title = {Why Out-of-distribution Detection in CNNs Does Not Like Mahalanobis -- and What to Use Instead},
author = {Kamil Szyc and Tomasz Walkowiak and Henryk Maciejewski},
journal= {arXiv preprint arXiv:2110.07043},
year = {2021}
}
备注
10 pages, 2 figures