用于分布外检测的对偶表示学习
机器学习
2023-08-29 v2
摘要
为对分布内样本进行分类，深度神经网络根据信息瓶颈探索强标签相关信息并丢弃弱标签相关信息。来自与分布内样本不同分布的分布外样本可能被赋予意外的高置信度预测，因为它们可能获得最少的强标签相关信息。为区分分布内和分布外样本，对偶表示学习（DRL）通过同时探索分布内样本的强标签相关信息和弱标签相关信息，使分布外样本更难获得高置信度预测。对于一个探索强标签相关信息以学习标签判别性表示的预训练网络，DRL 训练其辅助网络探索剩余的弱标签相关信息，以学习分布判别性表示。具体而言，对于一个标签判别性表示，DRL 通过整合与标签判别性表示不太相似的多样化表示，构建其互补的分布判别性表示。因此，DRL 结合标签判别性表示和分布判别性表示来检测分布外样本。实验表明，DRL 在分布外检测方面优于最先进的方法。
引用
@article{arxiv.2206.09387,
title = {Dual Representation Learning for Out-of-Distribution Detection},
author = {Zhilin Zhao and Longbing Cao},
journal= {arXiv preprint arXiv:2206.09387},
year = {2023}
}