平衡分布内泛化与分布外检测的监督自适应方法
机器学习
2023-10-03 v2
摘要
分布内（ID）和分布外（OOD）样本之间的差异可能导致深度神经网络中的分布脆弱性，进而可能对 OOD 样本产生高置信度预测。这主要是由于训练期间缺少 OOD 样本，未能对网络进行适当约束。为了解决这个问题，几种先进方法包括向训练中添加额外的 OOD 样本并为其分配手动定义的标签。然而，这种做法可能引入不可靠的标注，对 ID 分类产生负面影响。分布脆弱性对非独立同分布深度学习提出了关键挑战，其目标是通过平衡 ID 泛化和 OOD 检测来实现对 OOD 容忍的 ID 分类。在本文中，我们引入了一种新颖的监督适配方法，为 OOD 样本生成自适应监督信息，使其与 ID 样本更兼容。首先，我们使用互信息测量 ID 样本与其标签之间的依赖关系，揭示监督信息可以用所有类别的负概率表示。其次，我们通过解决一系列二元回归问题来研究 ID 和 OOD 样本之间的数据相关性，目标是细化监督信息以获得更明显可分的 ID 类别。我们在四种先进网络架构、两个 ID 数据集和十一个多样化的 OOD 数据集上进行的广泛实验证明了我们的监督适配方法在提高 ID 分类和 OOD 检测能力方面的有效性。
引用
@article{arxiv.2206.09380,
title = {Supervision Adaptation Balancing In-distribution Generalization and Out-of-distribution Detection},
author = {Zhilin Zhao and Longbing Cao and Kun-Yu Lin},
journal= {arXiv preprint arXiv:2206.09380},
year = {2023}
}