通过结构化与深度赫布网络实现结构化与深度相似性匹配
神经与进化计算
2019-12-06 v2 机器学习
摘要
突触可塑性被广泛认为是大脑神经网络中学习的机制。一个核心问题是，仅能获取网络局部信息的突触如何仍能集体组织并以高效方式执行电路范围的学习。在单层全连接神经网络中，局部可塑性已被证明能在一类代价函数上实现基于梯度的学习，该类函数包含将输出相似性与输入相似性对齐的项。对于具有其他架构的网络是否存在此类代价函数尚不清楚。在本文中，我们引入结构化与深度相似性匹配代价函数，并展示具有局部学习规则的神经网络如何以基于梯度的方式优化它们。这些网络将 Földiak 的赫布/反赫布网络扩展到深度架构以及结构化的前馈、侧向和反馈连接。信用分配问题通过将对偶学习目标分解为突触特定的局部目标而优雅地解决。仿真表明我们的网络学到了有意义的特征。
引用
@article{arxiv.1910.04958,
title = {Structured and Deep Similarity Matching via Structured and Deep Hebbian Networks},
author = {Dina Obeid and Hugo Ramambason and Cengiz Pehlevan},
journal= {arXiv preprint arXiv:1910.04958},
year = {2019}
}
备注
Accepted for publication in NeurIPS 2019; Minor typos fixed