周期谱遍历性：深度神经网络与神经架构搜索的复杂度度量
机器学习
2020-05-01 v4 无序系统与神经网络
统计力学
机器学习
摘要
建立深度神经网络（DNNs）结构与其泛化能力之间的关联是现代机器学习中的一项挑战性任务。解决该挑战将推动对 DNNs 的理论理解以及高效构建新架构的进展。在本工作中，我们基于源自量子统计力学的“周期谱遍历性”（PSE）概念，通过发展一种新的复杂度度量来应对这一挑战。基于该度量，我们设计了一种技术，以从学习到的权重出发并按顺序遍历网络连通性来量化深度神经网络的复杂度，因此称为级联 PSE（cPSE），作为一种经验复杂度度量。该度量将同时捕捉拓扑复杂度和内部神经处理复杂度。由于这种级联方式，即连续层上 PSE 的对称散度，使得该度量可用于神经架构搜索（NAS）。我们在两组视觉模型 ResNet 和 VGG 上展示了该度量在实践中的有用性，并勾勒了针对更复杂网络结构计算 cPSE 的方法。
引用
@article{arxiv.1911.07831,
title = {Periodic Spectral Ergodicity: A Complexity Measure for Deep Neural Networks and Neural Architecture Search},
author = {Mehmet Süzen and J. J. Cerdà and Cornelius Weber},
journal= {arXiv preprint arXiv:1911.07831},
year = {2020}
}
备注
9 pages, 5 figures