基于共轭矩阵系综的深度神经网络等价性

Mehmet Süzen

基于共轭矩阵系综的深度神经网络等价性

机器学习 2020-09-01 v2 无序系统与神经网络机器学习

作者: Mehmet Süzen

摘要

我们提出了一种用于检测深度学习架构等价性的数值方法。该方法基于由深度神经网络权重矩阵生成混合矩阵系综(MMEs),以及匹配神经架构拓扑的\emph{共轭圆系综}。此后,经验证据支持如下\emph{现象}:神经架构与相应\emph{共轭圆系综}的谱密度之差在谱的长正尾部分(即累积圆谱差(CSD))以不同衰减率趋于消失。该发现可用于通过分析 CSD 中的涨落来建立不同神经架构之间的等价性。我们针对广泛的深度学习视觉架构以及源自统计量子力学的圆系综研究了此现象。讨论了所提方法对人工与自然神经架构的实际意义,例如该方法在神经架构搜索(NAS)与生物神经网络分类中应用的可能性。

关键词

深度神经网络架构等价性混合矩阵系综共轭圆系综谱密度神经架构搜索

引用

@article{arxiv.2006.13687,
  title  = {Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles},
  author = {Mehmet Süzen},
  journal= {arXiv preprint arXiv:2006.13687},
  year   = {2020}
}

备注

4 pages, 4 figures

基于共轭矩阵系综的深度神经网络等价性

摘要

关键词

引用

备注

相关论文