探索神经网络中深度特征的公共主子空间
机器学习
2021-10-07 v1 人工智能
计算机视觉与模式识别
摘要
我们发现，使用同一数据集训练的不同深度神经网络（DNNs）在潜空间中共享一个公共主子空间，无论这些 DNNs 构建于何种架构（例如卷积神经网络（CNNs）、多层感知机（MLPs）和自编码器（AEs）），甚至无论训练是否使用标签（例如监督、无监督与自监督学习）。具体而言，我们设计了一种新度量 -向量来表示 DNN 中学习到的深度特征的主子空间，并提议使用 -向量度量主子空间之间的角度。在使用不同算法/架构训练的任何两个 DNN 之间的比较中，均发现了小角度（余弦接近 ）。此外，在从随机初始化的训练过程中，角度从较大值（通常为 ）减小至小角度，这与特征空间从随机初始化到收敛的学习进程一致。随后，我们开展案例研究，度量 -向量与训练数据集主子空间之间的角度，并将该角度与泛化性能相联系。我们在 MNIST、CIFAR-10 与 CIFAR-100 数据集上，使用实际使用的多层感知机（MLPs）、AEs 和 CNNs 进行分类、图像重建与自监督学习任务，开展了广泛实验，以坚实证据支撑我们的主张。深度学习可解释性、特征学习与深度特征子空间
引用
@article{arxiv.2110.02863,
title = {Exploring the Common Principal Subspace of Deep Features in Neural Networks},
author = {Haoran Liu and Haoyi Xiong and Yaqing Wang and Haozhe An and Dongrui Wu and Dejing Dou},
journal= {arXiv preprint arXiv:2110.02863},
year = {2021}
}
备注
Main Text with Appendix, accepted by Machine Learning