Taylor 离群值暴露
计算机视觉与模式识别
2024-12-11 v1 机器学习
摘要
分布外（OOD）检测是识别来自训练时未使用分布的数据的任务。该任务对于可靠的机器学习以及更好地理解其泛化能力至关重要。在 OOD 检测方法中，离群值暴露（OE）通过向模型暴露辅助 OOD 数据，显著增强了 OOD 检测性能与泛化能力。然而，构建不受分布内（ID）样本污染的干净辅助 OOD 数据集对 OE 至关重要；通常，被 ID 样本污染的噪声 OOD 数据集会对 OE 训练动态和最终检测性能产生负面影响。此外，随着数据集规模的增大，构建干净的 OOD 数据变得越来越具有挑战性和成本高昂。为应对这些挑战，我们提出了 Taylor 离群值暴露（TaylorOE），一种带有正则化的 OE 方法，允许在含 ID 样本的噪声 OOD 数据集上进行训练。具体而言，我们将 OE 正则化项表示为多项式函数，通过泰勒展开实现，从而可以通过调整泰勒展开的阶数来控制辅助 OOD 数据集中 ID 数据的正则化强度。在 OOD 检测任务上对干净和噪声 OOD 数据集的实验中，我们证明了所提方法持续优于传统方法，并分析了我们的正则化项以展示其有效性。TaylorOE 的实现代码可在以下地址获取：https://github.com/fukuchan41/TaylorOE
引用
@article{arxiv.2412.07219,
title = {Taylor Outlier Exposure},
author = {Kohei Fukuda and Hiroaki Aizawa},
journal= {arXiv preprint arXiv:2412.07219},
year = {2024}
}