深度神经网络中的降维与去相关机制
机器学习
2018-12-19 v3 统计力学
机器学习
摘要
深度神经网络被广泛应用于各个领域。然而，深度网络中每一层计算的本质远未被充分理解。因此，提高深度神经网络的可解释性十分重要。在此，我们构建了一个平均场框架，以理解紧凑表示是如何在各层之间发展的，这不仅适用于具有随机权重的确定性深度网络，也适用于执行无监督学习的生成式深度网络。我们的理论表明，深度计算在实现降维的同时，维持了神经元之间有限水平的弱相关性，以用于可能的特征提取。降维与去相关的机制在同一框架下得到了统一。这项工作可能为理解感觉层级结构如何运作铺平道路。
引用
@article{arxiv.1710.01467,
title = {Mechanisms of dimensionality reduction and decorrelation in deep neural networks},
author = {Haiping Huang},
journal= {arXiv preprint arXiv:1710.01467},
year = {2018}
}
备注
11 pages, 5 figures, a physics explanation of decorrelation and dimensionality reduction is added; to be published by Phys Rev E (2018)