解读神经网络中的基路径集
机器学习
2019-10-22 v1 神经与进化计算
摘要
基于基路径集，G-SGD算法在优化神经网络方面显著优于传统SGD算法。然而，基路径的内在机制如何运作仍属未知。本文从图论的角度出发，定义了基路径，研究了规则全连接神经网络中基路径的结构性质，并解读了基路径集的图表示。此外，我们提出分层算法HBPS，通过将网络分解为若干独立且并行的子结构，在全连接神经网络中寻找基路径集B。算法HBPS要求任意两个独立子结构路径之间不存在共享边。
引用
@article{arxiv.1910.09402,
title = {Interpreting Basis Path Set in Neural Networks},
author = {Juanping Zhu and Qi Meng and Wei Chen and Zhi-ming Ma},
journal= {arXiv preprint arXiv:1910.09402},
year = {2019}
}