DNN 会选择哪些捷径线索？一项基于参数空间视角的研究
机器学习
2022-02-11 v2 计算机视觉与模式识别
机器学习
摘要
深度神经网络 (DNN) 常依赖于易于学习的判别性特征或线索，而这些特征未必是手头问题的关键。例如，图像中的鸭子可能基于其典型背景风景（如湖泊或溪流）被识别。这一现象也称为捷径学习，正成为当前一代机器学习模型的关键局限。本工作中，我们设计了一组实验以加深对捷径学习及其影响的理解。我们设计了一个带有若干捷径线索的训练设置，名为 WCST-ML，其中每个线索对当前的视觉识别问题同样有利。即使在机会均等下，我们观察到：(1) 某些线索优于其他线索；(2) 偏向易学线索的解倾向于收敛到损失面上相对平坦的最小值；(3) 聚焦于这些偏好线索的解在参数空间中远为丰富。我们通过 Kolmogorov（描述）复杂性解释某些线索的丰富性：对应于 Kolmogorov 简单线索的解在参数空间中丰富，因而被 DNN 偏好。我们的研究基于合成数据集 DSprites 和人脸数据集 UTKFace。在我们的 WCST-ML 中，观察到模型的先天偏差倾向于简单线索，如颜色和种族。我们的发现强调了主动人为干预以消除可能造成负面社会影响的模型先天偏差的重要性。
引用
@article{arxiv.2110.03095,
title = {Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space Perspective},
author = {Luca Scimeca and Seong Joon Oh and Sanghyuk Chun and Michael Poli and Sangdoo Yun},
journal= {arXiv preprint arXiv:2110.03095},
year = {2022}
}
备注
To be published in "The International Conference on Learning Representations" (ICLR 2022)(Accepted) First two authors have contributed equally