前馈神经网络在何时何地学习局部表征
神经与进化计算
2018-06-12 v1 人工智能
新兴技术
机器学习
摘要
根据心理学中的并行分布处理（PDP）理论，神经网络（NN）学习的是分布式表征，而非可解释的局部表征。这一观点根深蒂固，以至于很少有研究人员分析单个单元以确定该假设是否正确。然而，来自心理学、神经科学和计算机科学的最新结果表明，人工神经网络和生物神经网络中偶尔会出现局部编码。在本文中，我们利用具有已知属性的生成输入和输出数据，首次对前馈神经网络中局部编码何时出现进行了系统调查。我们发现，NN 中产生的局部编码数量在隐藏层神经元数量上遵循一个明确定义的分布，其峰值由输入数据大小、呈现的样本数量以及输入数据的稀疏性决定。使用 1-hot 输出码会大幅减少隐藏层上的局部编码数量。涌现的局部编码数量随着应用于隐藏层的 dropout 比例增加而增加，这表明局部编码可能为噪声网络提供抗扰性。这些数据表明，局部编码可以从前馈 PDP 网络中涌现，并暗示了可能导致大脑皮层中可解释局部表征的某些条件。这些发现强调了不应轻易否定局部编码。
引用
@article{arxiv.1806.03934,
title = {When and where do feed-forward neural networks learn localist representations?},
author = {Ella M. Gale and Nicolas Martin and Jeffrey S. Bowers},
journal= {arXiv preprint arXiv:1806.03934},
year = {2018}
}