深度学习架构中基于替代随机矩阵的谱遍历性
机器学习
2017-09-07 v3 统计力学
机器学习
摘要
本文提出了一种量化随机矩阵谱遍历性的新方法。该新方法结合了源于Thirumalai-Mountain (TM) 和 Kullbach-Leibler (KL) 散度度量的方法。该方法通过分析模拟这些系统典型权重矩阵的随机矩阵系综，应用于深度与循环神经网络的一般研究。具体而言，我们考察了圆形随机矩阵系综：圆酉系综（CUE）、圆正交系综（COE）和圆辛系综（CSE）。计算了这些系综的特征值谱与谱遍历性作为网络大小的函数。观察到随着矩阵尺寸增大，系综的谱遍历性水平上升，即从系综中随机单次实现所得的特征值谱更接近于整个系综平均所得的谱。基于先前结果，我们推测深度学习架构的成功与谱遍历性概念紧密绑定。本文提出的计算谱遍历性的方法可用于优化深度及循环神经网络的尺寸与架构。
引用
@article{arxiv.1704.08303,
title = {Spectral Ergodicity in Deep Learning Architectures via Surrogate Random Matrices},
author = {Mehmet Süzen and Cornelius Weber and Joan J. Cerdà},
journal= {arXiv preprint arXiv:1704.08303},
year = {2017}
}
备注
4 pages, 4 figures