用于线性子空间学习的赫布/反赫布神经网络：基于流数据的多维标度推导
神经元与认知
2015-05-18 v1 神经与进化计算
机器学习
摘要
早期感觉处理的神经网络模型通常会降低流输入数据的维数。此类网络通过调整突触权重依据活动依赖的学习规则，来学习主子空间（就主成分分析(PCA)的意义而言）。当从有原则的代价函数推导时，这些规则是非局部的，因此在生物学上不合理。同时，生物学上合理的局部规则被假定而非从有原则的代价函数推导。在此，为弥合这一差距，我们通过最小化一个有原则的代价函数，推导出一个生物学上合理的用于流数据子空间学习的网络。不同于先前工作将代价量化为表示或重建误差，我们采用针对流数据的多维标度(MDS)代价函数。所得算法仅依赖于生物学上合理的赫布和反赫布局部学习规则。在随机设定下，突触权重收敛到将输入数据投影到主子空间上的稳态。如果数据由非平稳分布生成，网络能跟踪主子空间。因此，我们的结果为神经计算的算法理论迈出一步。
引用
@article{arxiv.1503.00669,
title = {A Hebbian/Anti-Hebbian Neural Network for Linear Subspace Learning: A Derivation from Multidimensional Scaling of Streaming Data},
author = {Cengiz Pehlevan and Tao Hu and Dmitri B. Chklovskii},
journal= {arXiv preprint arXiv:1503.00669},
year = {2015}
}
备注
Accepted for publication in Neural Computation