域特征坍塌：对 OOD 检测的影响及解决方案
机器学习
2026-03-13 v2
摘要
为何最先进的 OOD 检测方法在模型训练于单域数据集时会出现灾难性失效？我们通过信息论视角提供了这种现象的首个理论解释。我们证明，在单域数据上的监督学习必然产生域特征坍塌——表征中 I(x_d; z) = 0，即域特定信息被完全丢弃。这源于信息瓶颈优化的基本结果：在单一域（如医学图像）上训练的模型会仅依赖类别特定特征，而丢弃域特征，导致在检测域外样本（如仅 achieving 53% FPR@95 on MNIST）时出现灾难性失效。我们使用 Fano 不等式扩展分析，量化实际情境中的部分坍塌。为验证理论，我们引入 Domain Bench，单域数据集基准，表明通过域过滤（使用预训练表征）保留 I(x_d; z) > 0 可解决失效模式。虽然域过滤本身概念简单，但其有效性为我们的信道理论框架提供了强有力的实证依据。我们的工作解释了一个令人困惑的经验现象，揭示了窄域监督学习的根本局限，以及迁移学习和何时微调 versus 冻结预训练模型的更广泛含义。
引用
@article{arxiv.2512.04034,
title = {Domain Feature Collapse: Implications for Out-of-Distribution Detection and Solutions},
author = {Hong Yang and Devroop Kar and Qi Yu and Alex Ororbia and Travis Desell},
journal= {arXiv preprint arXiv:2512.04034},
year = {2026}
}
备注
Error in theoretical assumptions