感知分布外数据的有监督对比学习
机器学习
2023-10-04 v1 计算机视觉与模式识别
摘要
分布外（OOD）检测是机器学习模型安全部署中的关键问题，旨在识别落在训练分布之外的样本，即分布内数据（ID）。大多数 OOD 工作聚焦于用交叉熵（CE）训练的分类模型，并试图修复其固有缺陷。本工作中，我们利用有监督对比（SupCon）训练学到的强大表示，提出一种整体方法来学习对 OOD 数据鲁棒的分类器。我们用两个额外的对比项扩展 SupCon 损失。第一项将辅助 OOD 表示推离 ID 表示，而不对辅助数据间的相似性施加任何约束。第二项将 OOD 特征推离现有类原型，同时将 ID 表示推近其对应类原型。当辅助 OOD 数据不可用时，我们提出特征混合技术以高效生成伪 OOD 特征。我们的方案简单高效，并作为闭集有监督对比表示学习的自然扩展。我们在常用基准上对比不同 OOD 检测方法，展示了最先进的结果。
引用
@article{arxiv.2310.01942,
title = {OOD Aware Supervised Contrastive Learning},
author = {Soroush Seifi and Daniel Olmeda Reino and Nikolay Chumerin and Rahaf Aljundi},
journal= {arXiv preprint arXiv:2310.01942},
year = {2023}
}