基于自然属性的分布偏移检测
机器学习
2021-10-19 v1
摘要
尽管深度网络在视觉、语言和医疗保健领域表现出色，但其在与训练分布不同的样本上表现不可预测，导致在部署中产生严重问题。为了提高基于神经网络的分类器的可靠性，我们定义了一项新任务：基于自然属性的偏移（natural attribute-based shift, NAS）检测，旨在检测因某些自然属性（如受试者年龄或图像亮度）而偏离训练分布的样本。利用现有数据集中存在的自然属性，我们引入了用于 NAS 检测的视觉、语言和医疗基准数据集。此外，我们在 NAS 数据集上对先前具有代表性的分布外（out-of-distribution, OOD）检测方法进行了广泛评估，并观察到其性能的不一致性。为了理解这一点，我们分析了 NAS 样本在特征空间中的位置与基于距离和基于置信度的 OOD 检测方法性能之间的关系。基于该分析，我们将 NAS 样本分为三类，并进一步建议对训练目标进行简单修改，以获得一种能够检测所有 NAS 类别样本的改进型 OOD 检测方法。
引用
@article{arxiv.2110.09276,
title = {Natural Attribute-based Shift Detection},
author = {Jeonghoon Park and Jimin Hong and Radhika Dua and Daehoon Gwak and Yixuan Li and Jaegul Choo and Edward Choi},
journal= {arXiv preprint arXiv:2110.09276},
year = {2021}
}