类内/跨类结构痕迹遍布深度学习谱
机器学习
2020-08-31 v1 计算机视觉与模式识别
机器学习
摘要
近期众多研究者将经验谱分析应用于现代深度学习分类器的研究。我们识别并讨论了一种重要的形式化类内/跨类结构,并展示它如何位于深度网络谱中许多视觉上引人注目的特征的起源之处——其中一些特征已在近期文章中被报道,另一些在此首次揭示。这些特征包括谱离群值、“尖峰”,以及微小但明显的连续分布、“隆起”,常出现在“主体块”边缘之外。跨类结构的重要性通过三种方式说明:(i) 我们证明在多项逻辑回归背景下, Fisher 信息矩阵谱中离群值与主体块之比可预测误分类;(ii) 我们展示网络如何随深度逐渐将类区分信息与类变异性分离,同时使类区分信息正交化;(iii) 我们对知名的深度学习二阶优化算法 KFAC 提出一种修正。
引用
@article{arxiv.2008.11865,
title = {Traces of Class/Cross-Class Structure Pervade Deep Learning Spectra},
author = {Vardan Papyan},
journal= {arXiv preprint arXiv:2008.11865},
year = {2020}
}