解读神经网络中的偏差：表征相似性的初步探究
机器学习
2022-11-16 v1 人工智能
计算机视觉与模式识别
摘要
在标准图像分类数据集上训练的神经网络被证明对数据集偏差的抵抗能力较弱。有必要理解可能对应于在含偏差数据上更优性能的目标函数行为。然而，关于在含偏差数据集上训练时目标函数的选择及其表征结构的研究很少。本文中，我们研究了使用不同目标函数训练的基于卷积的神经网络（如 ResNets）在偏差数据上的性能和内部表征结构。我们具体研究了不同目标函数（概率型和基于间隔的）下表征的相似性，使用中心核对齐（CKA），并对所选目标函数进行了全面分析。根据我们的发现，以负对数似然 和 Softmax 交叉熵（）为损失函数获得的 ResNets 表征，在偏差数据上同样能够产生更好的性能和精细表征。我们注意到，若神经网络各层之间缺乏渐进的表征相似性，性能不太可能具有鲁棒性。
引用
@article{arxiv.2211.07774,
title = {Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity},
author = {Gnyanesh Bangaru and Lalith Bharadwaj Baru and Kiran Chakravarthula},
journal= {arXiv preprint arXiv:2211.07774},
year = {2022}
}