源自对称矩阵分解的用于在线稀疏字典学习的 Hebbian/反 Hebbian 网络
神经元与认知
2015-12-01 v2 神经与进化计算
机器学习
摘要
Olshausen 和 Field (OF) 提出初级视觉皮层 (V1) 中的神经计算可以部分地由稀疏字典学习建模。通过最小化正则化表示误差，他们推导出一种在线算法，该算法从自然图像集合中学习 Gabor 滤波器感受野，与生理实验一致。尽管 OF 算法可以映射到单层神经网络中的动力学和突触可塑性，但推导出的学习规则是非局部的——突触权重更新依赖于除仅前突触和后突触神经元之外的其他神经元的活动——因此在生物学上不合理。在此，为克服该问题，我们从一种新颖的代价函数推导出稀疏字典学习——输入相似度矩阵的对称分解的正则化误差。我们的算法映射到与 OF 相同架构的神经网络，但仅使用生物学上合理的局部学习规则。当在自然图像上训练时，我们的网络学习 Gabor 滤波器感受野，并复现 OF 网络中硬编码的突触权重间的相关性。因此，在线对称矩阵分解可作为神经计算的算法理论。
引用
@article{arxiv.1503.00690,
title = {A Hebbian/Anti-Hebbian Network for Online Sparse Dictionary Learning Derived from Symmetric Matrix Factorization},
author = {Tao Hu and Cengiz Pehlevan and Dmitri B. Chklovskii},
journal= {arXiv preprint arXiv:1503.00690},
year = {2015}
}
备注
2014 Asilomar Conference on Signals, Systems and Computers. v2: fixed a typo in equation 23