基于变分信息论方法的离群分布检测
机器学习
2025-06-18 v1
摘要
我们提出了一种神经网络离群分布（OOD）检测特征的构建理论。我们通过一种新型信息论损失函数引入随机特征，该损失函数包含两个术语：第一个基于KL散度区分结果分布内（in-distribution, ID）和OOD特征分布，第二个术语为信息瓶颈（Information Bottleneck），有利于保留OOD信息的压缩特征。我们对该损失函数进行变分优化以获得OOD特征。基于对OOD分布的假设，可恢复现有OOD特征的属性，即形状函数。进一步，我们表明我们的理论能够预测一种新的形状函数，在OOD基准测试中超越现有方法。我们的理论为构建具有清晰可解释性的各种新特征提供了通用框架。
引用
@article{arxiv.2506.14194,
title = {A Variational Information Theoretic Approach to Out-of-Distribution Detection},
author = {Sudeepta Mondal and Zhuolin Jiang and Ganesh Sundaramoorthi},
journal= {arXiv preprint arXiv:2506.14194},
year = {2025}
}