深度网络黑盒中的彩虹

深度学习中的一个核心问题是理解深度网络所学习的函数。它们的逼近类是什么？学习到的权重与表示是否依赖于初始化？先前的实证工作表明，由网络激活定义的核在不同初始化间是相似的。对于浅层网络，这已通过随机特征模型在理论上被研究，但其向深度网络的推广一直难以实现。在此，我们提供此类随机特征模型的深度推广，称之为彩虹模型。我们证明彩虹网络在无限宽度极限下定义确定性的（层次化）核。由此得到的函数因而属于与权重随机性无关的数据依赖 RKHS。我们还在图像分类任务上训练的深度 CNN 上数值验证了我们的建模假设，并表明训练网络近似满足彩虹假设。特别地，从相应随机特征模型采样的彩虹网络取得了与训练网络相近的性能。我们的结果凸显了各层网络权重协方差所起的核心作用，这些协方差因特征学习而被观察到是低秩的。