长尾学习中的分布外检测表示范数放大
机器学习
2024-08-21 v1
摘要
检测分布外（OOD）样本是可靠机器学习的关键任务。然而，当模型在长尾数据集上训练时，该任务变得尤为困难，因为模型往往难以区分尾部类别的分布内样本与分布外样本。我们通过识别现有方法在OOD检测与分布内（ID）分类之间面临的权衡，剖析了该问题的主要挑战。随后我们提出了一种名为表示范数放大（RNA）的方法，通过解耦这两个问题来解决该挑战。其核心思想是将表示的范数用作OOD检测的新维度，并开发一种训练方法，在不影响ID分类特征学习的前提下，在ID和OOD数据的表示范数之间产生显著差异。实验结果表明，RNA在OOD检测和分类任务上均优于现有最先进方法，在CIFAR10-LT和ImageNet-LT上FPR95分别提升1.70%和2.43%，分类准确率分别提升9.46%和6.87%。该工作的代码可在 https://github.com/dgshin21/RNA 获取。
引用
@article{arxiv.2408.10676,
title = {Representation Norm Amplification for Out-of-Distribution Detection in Long-Tail Learning},
author = {Dong Geun Shin and Hye Won Chung},
journal= {arXiv preprint arXiv:2408.10676},
year = {2024}
}
备注
30 pages, 8 figures, 17 tables