弱相关突触促进深度神经网络中的降维
机器学习
2021-02-02 v1 无序系统与神经网络
统计力学
神经元与认知
机器学习
摘要
通过控制突触与神经相关性，深度学习在提升分类性能方面取得了经验性成功。突触相关性如何影响神经相关性以产生解耦的隐藏表示仍不清楚。在此我们提出一个考虑突触间两两相关性的简化降维模型，以揭示突触相关性影响降维的内在机制。我们的理论仅依据数学自洽性，确定了二值与连续突触情形下突触相关性的标度形式。该理论还预测，与正交突触相比，弱相关突触有助于降维。此外，这些突触沿网络深度减缓了解相关过程。这两个计算作用由所提出的平均场方程予以解释。理论预测与数值模拟高度吻合，且关键特征也被采用 Hebbian 规则的深度学习所捕捉。
引用
@article{arxiv.2006.11569,
title = {Weakly-correlated synapses promote dimension reduction in deep neural networks},
author = {Jianwen Zhou and Haiping Huang},
journal= {arXiv preprint arXiv:2006.11569},
year = {2021}
}
备注
21 pages, 8 figures