基于改进 RV 相似性分析揭示任务和训练对卷积神经网络中间表征的影响
机器学习
2019-12-06 v1 机器学习
摘要
Centered Kernel Alignment（CKA）最近被提出作为比较深度网络激活模式的相似性度量。此处我们实验了改进的 RV 系数（RV2），它与 CKA 性质非常相似，同时对数据集大小不那么敏感。我们比较了在不同层接受不同训练量的网络的表征：标准训练网络（每步更新所有参数）、冻结训练网络（训练期间逐层冻结）、随机网络（仅训练部分层）和完全未训练网络。我们发现 RV2 能够恢复预期的相似性模式，并提供可解释的相似性矩阵，这些矩阵提出了关于不同训练方案如何影响表征的假设。我们提出，冻结训练所实现的优越性能可归因于倒数第二层的表征差异。我们对随机网络的比较表明，输入和目标充当了最低层和最高层表征的锚点。
引用
@article{arxiv.1912.02260,
title = {The effect of task and training on intermediate representations in convolutional neural networks revealed with modified RV similarity analysis},
author = {Jessica A. F. Thompson and Yoshua Bengio and Marc Schoenwiesner},
journal= {arXiv preprint arXiv:1912.02260},
year = {2019}
}
备注
4 pages, 4 figures, Conference on Cognitive Computational Neuroscience 2019