面向区分分布外数据集的度量指标
机器学习
2020-11-20 v3 计算机视觉与模式识别
机器学习
摘要
作为未校准分类器，普通 CNN 会将分布外（OOD）样本分类得几乎与分布内样本一样自信。为应对此挑战，近期一些工作展示了利用可用 OOD 集训练端到端校准 CNN 的收益。然而，这些工作中一个关键问题尚未解答：如何区分 OOD 集以选择最有效的一个（或多个），从而训练出对未见 OOD 集具有高检测率的此类 CNN？为解决这一关键问题，我们基于 Augmented-CNN（一种增加了用于拒绝的额外类的普通 CNN）在分布内与未见 OOD 集上的泛化误差给出了一个准则。但是，直接优化该准则选择最有效 OOD 集会带来巨大计算成本。作为替代，我们提出了三种新颖的计算高效度量，用于依据其对分布内子流形的“保护”水平区分 OOD 集。我们通过实验验证，依据我们的度量所选最具保护性的 OOD 集，导致的 A-CNN 的泛化误差显著低于在保护性最差者上训练的 A-CNN。我们还通过实验展示了保护性 OOD 集对于训练良好泛化的置信度校准普通 CNN 的有效性。这些结果证实：1) 并非所有 OOD 集对于训练在 OOD 检测任务中表现良好的端到端模型（即 A-CNN 与校准 CNN）同样有效；2) OOD 集的保护水平是识别最有效集的可行因素。最后，在图像分类任务中，我们展示了在最具保护性 OOD 集上训练的 A-CNN 也能检测黑盒 FGS 对抗样本，因其距受保护子流形的距离（由我们的度量衡量）正变得更大。
引用
@article{arxiv.1910.08650,
title = {Toward Metrics for Differentiating Out-of-Distribution Sets},
author = {Mahdieh Abbasi and Changjian Shui and Arezoo Rajabi and Christian Gagne and Rakesh Bobba},
journal= {arXiv preprint arXiv:1910.08650},
year = {2020}
}
备注
Workshop on Safety and Robustness in Decision Making, NeurIPS 2019