Be Persistent：迈向缓解深度学习捷径学习的统一解决方案
机器学习
2024-08-27 v2 计算机视觉与模式识别
摘要
深度神经网络 (DNNs) 容易受到捷径学习的影响：它们倾向于在输入和输出之间建立不确定的关系，而不是学习预期的任务。捷径学习在神经网络的许多失败案例中无处不在，这种现象的痕迹可见于其泛化性问题、域偏移、对抗脆弱性，甚至对多数群体的偏见中。在本文中，我们认为这种导致各种 DNN 问题的共同原因创造了一个重要的机会，应加以利用以找到捷径学习的统一解决方案。为此，我们概述了拓扑数据分析 (TDA) 的最新进展，特别是持久同调 (PH)，以勾勒检测深度学习中捷径的统一路线图。我们通过研究 DNN 中计算图的拓扑特征来论证我们的观点，选取不可学习示例和决策中的偏见作为测试案例。我们对这两个 DNN 失败案例的分析表明，为 DNN 中的捷径学习找到统一解决方案并非遥不可及，而 TDA 可以在构建此类框架中发挥重要作用。
引用
@article{arxiv.2402.11237,
title = {Be Persistent: Towards a Unified Solution for Mitigating Shortcuts in Deep Learning},
author = {Hadi M. Dolatabadi and Sarah M. Erfani and Christopher Leckie},
journal= {arXiv preprint arXiv:2402.11237},
year = {2024}
}
备注
Accepted to the 2024 European Conference on Artificial Intelligence (ECAI)