预训练网络能否检测熟悉的分布外数据？
计算机视觉与模式识别
2023-10-13 v2
摘要
分布外（OOD）检测对安全敏感的机器学习应用至关重要，已被广泛研究，文献中产生了大量方法。然而，多数OOD检测研究未使用预训练模型，而是从头训练骨干网络。近年来，通过轻量微调将大型预训练模型的知识迁移到下游任务已成为训练分布内（ID）分类器的主流。为弥合OOD检测实践与当前分类器之间的差距，独特且关键的问题在于网络已知信息的样本常作为OOD输入出现。我们认为此类数据可能显著影响大型预训练网络的性能，因为这些OOD数据的可判别性取决于预训练算法。在此，我们将此类OOD数据定义为PT-OOD（预训练OOD）数据。本文旨在从预训练算法角度揭示PT-OOD对预训练网络OOD检测性能的影响。为此，我们探究了采用线性探测微调（最常见的有效调优方法）的监督与自监督预训练算法的PT-OOD检测性能。通过实验与分析，我们发现PT-OOD在特征空间中低的线性可分性严重降低了PT-OOD检测性能，且自监督模型比监督预训练模型更易受PT-OOD影响，即便使用最先进的检测方法。为解决该脆弱性，我们进一步提出一种面向大规模预训练模型的独特方案：利用预训练模型强大的逐实例判别表示，并在独立于ID决策边界的特征空间中检测OOD。代码将通过 https://github.com/AtsuMiyai/PT-OOD 提供。
引用
@article{arxiv.2310.00847,
title = {Can Pre-trained Networks Detect Familiar Out-of-Distribution Data?},
author = {Atsuyuki Miyai and Qing Yu and Go Irie and Kiyoharu Aizawa},
journal= {arXiv preprint arXiv:2310.00847},
year = {2023}
}