神经表征揭示残差卷积网络中类别拟合的不同模式
机器学习
2022-12-02 v1 计算机视觉与模式识别
摘要
我们利用神经表征的概率模型来研究残差网络如何拟合类别。为此,我们估计深度 ResNet 所学表征的类别条件密度模型,进而利用这些模型刻画所学类别间表征的分布。令人惊讶的是,我们发现所考察模型中的类别并非以均匀方式拟合。相反:我们揭示了两组以显著不同表征分布拟合的类别。这些不同的类别拟合模式仅在所考察模型的较深层中明显,表明它们与低级图像特征无关。我们展示神经表征中揭示的结构与训练样本的记忆和对抗鲁棒性相关。最后,我们比较记忆样本与典型样本的神经网络表征的类别条件分布。这使我们能够揭示在网络结构的何处,记忆输入和标准输入的类别标签得以产生。
引用
@article{arxiv.2212.00771,
title = {Neural Representations Reveal Distinct Modes of Class Fitting in Residual Convolutional Networks},
author = {Michał Jamroż and Marcin Kurdziel},
journal= {arXiv preprint arXiv:2212.00771},
year = {2022}
}
备注
Accepted to AAAI 2023. Extended version