通过最近类别探测 OOD 图像上的预测
机器学习
2023-03-09 v5 机器学习
摘要
我们研究神经网络在分类来自未见类别的图像或 corrupted 图像时的分布外（OOD）预测行为。为探测 OOD 行为，我们引入一个新度量——最近类别泛化（NCG），其计算被分类为与训练集中最近邻相同标签的 OOD 输入所占比例。我们的动机源于理解对抗鲁棒网络的预测模式，因为先前工作已发现为对范数有界扰动具有鲁棒性而训练会带来意外后果。我们发现，鲁棒网络始终比自然训练具有更高的 NCG 准确率，即便 OOD 数据远超出鲁棒半径。这意味着鲁棒训练的局部正则化对网络的决策区域有显著影响。我们使用多个数据集复现了该发现，比较了新旧训练方法。总体而言，对抗鲁棒网络在 OOD 数据上类似于最近邻分类器。代码见 https://github.com/yangarbiter/nearest-category-generalization。
引用
@article{arxiv.2011.08485,
title = {Probing Predictions on OOD Images via Nearest Categories},
author = {Yao-Yuan Yang and Cyrus Rashtchian and Ruslan Salakhutdinov and Kamalika Chaudhuri},
journal= {arXiv preprint arXiv:2011.08485},
year = {2023}
}
备注
Accepted by Transactions on Machine Learning Research