超越类子空间：单域模型中基于教师引导的可靠异常分布检测
机器学习
2026-03-13 v1
摘要
异常分布（OOD）检测方法在多域基准上表现良好，但许多实际系统是在单域数据上训练的。我们指出，这一 regime 会导致几何失效模式：域敏感性坍缩（DSC），即监督训练将特征压缩到低秩类子空间中，抑制携带域迁移信号的方向。我们提供理论，表明在DSC下，距离和逻辑基准的OOF得分对域迁移失去灵敏性。我们然后引入教师引导训练（TGT），从冻结的多域教师（DINOv2）中蒸馏类被抑制的残差结构到学生模型。教师和辅助头在训练后被丢弃，无需增加推理开销。在八个单域基准上，TGT显著降低了基于距离的OOF得分的远端OOFFPR@95：MDS改进11.61个百分点，ViM改进10.78个百分点，kNN改进12.87个百分点（ResNet-50平均），同时保持或略微改进了原域OOF和分类准确性。
引用
@article{arxiv.2603.11269,
title = {Beyond the Class Subspace: Teacher-Guided Training for Reliable Out-of-Distribution Detection in Single-Domain Models},
author = {Hong Yang and Devroop Kar and Qi Yu and Travis Desell and Alex Ororbia},
journal= {arXiv preprint arXiv:2603.11269},
year = {2026}
}
备注
14 pages main text, 22 pages appendix; under review at ECCV 2026