深度神经网络中离群分布示例的拓扑结构
机器学习
2025-01-23 v1
摘要
随着深度神经网络(DNN)的日益普及，对其鲁棒性的担忧也随之增加。对于部署的DNN而言，长期存在的一个问题是它们面对陌生输入时的行为；具体而言，这些模型倾向于在遇到离群分布(OOD)示例时显得过于自信且错误。本文提出了一种基于DNN中潜层嵌入来表征OOD示例的拓扑方法。我们的目标是识别表明OOD示例的拓扑特征，称为地标。我们在基准数据集和现实中DNN模型上进行了广泛实验，揭示了关于OOD检测的关键洞察。已证明，经过良好训练的DNN对简单模型和数据集会诱导出训练数据的拓扑简化；我们表明，这一性质适用于现实的、大规模的测试和训练数据，但不适用于OOD示例。更具体地，我们发现，OOD示例的平均寿命(或持久性)统计上显著长于训练或测试示例。这表明DNN在处理陌生输入时难以诱导出拓扑简化。我们的实证结果为现实中DNN的拓扑简化提供了新证据，并为基于拓扑的OOD检测策略奠定了基础。
引用
@article{arxiv.2501.12522,
title = {Topology of Out-of-Distribution Examples in Deep Neural Networks},
author = {Esha Datta and Johanna Hennig and Eva Domschot and Connor Mattes and Michael R. Smith},
journal= {arXiv preprint arXiv:2501.12522},
year = {2025}
}
备注
24 pages, 13 figures