面向最优特征塑造方法的分布外检测
计算机视觉与模式识别
2024-02-02 v1 机器学习
摘要
特征塑造指一类在分布外(OOD)检测中表现出最先进性能的方法。这些方法操纵特征表示(通常来自预训练深度学习模型的倒数第二层),以更好地区分分布内(ID)和OOD样本。然而,现有的特征塑造方法通常采用为特定模型架构和OOD数据集手动设计的规则,从而限制了其泛化能力。为解决这一差距,我们首先制定了一个用于研究特征塑造方法的抽象优化框架。然后,我们提出了该框架的一个具体简化,使用简单的分段常数塑造函数,并表明现有特征塑造方法近似于具体优化问题的最优解。进一步,假设OOD数据不可访问,我们提出了一种公式,利用仅ID数据得到分段常数塑造函数的闭式解。通过大量实验,我们表明由我们的方法优化的特征塑造函数提高了OOD检测在大量数据集和模型架构上的泛化能力。
引用
@article{arxiv.2402.00865,
title = {Towards Optimal Feature-Shaping Methods for Out-of-Distribution Detection},
author = {Qinyu Zhao and Ming Xu and Kartik Gupta and Akshay Asthana and Liang Zheng and Stephen Gould},
journal= {arXiv preprint arXiv:2402.00865},
year = {2024}
}
备注
ICLR 2024. Project page: https://github.com/Qinyu-Allen-Zhao/OptFSOOD