蒸馏未知以揭示确定性
机器学习
2025-06-30 v3
摘要
分布外（OOD）检测对于识别偏离分布内（ID）数据的测试样本、确保网络的鲁棒性和可靠性至关重要。本文提出了一种灵活的 OOD 知识蒸馏框架，从网络中提取对 OOD 敏感的信息，以开发一个二元分类器，能够在有和没有训练 ID 数据访问的两种场景下区分 ID 与 OOD 样本。为此，我们引入了置信度修正（CA），一种将 OOD 样本转化为 ID 样本同时逐步修正网络得出的预测置信度以增强 OOD 敏感性的创新方法。该方法能够同时合成 ID 和 OOD 样本，每个样本都附有调整后的预测置信度，从而便于训练对 OOD 敏感的二元分类器。理论分析给出了二元分类器泛化误差的界，证明了置信度修正在增强 OOD 敏感性中的关键作用。跨越多个数据集和网络架构的广泛实验证实了所提方法在检测 OOD 样本上的有效性。
引用
@article{arxiv.2311.07975,
title = {Distilling the Unknown to Unveil Certainty},
author = {Zhilin Zhao and Longbing Cao and Yixuan Zhang and Kun-Yu Lin and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2311.07975},
year = {2025}
}