PyTorch-Hebbian：在深度学习框架中促进局部学习
机器学习
2021-02-02 v1 计算机视觉与模式识别
摘要
近来，基于赫布（Hebb）关于突触效能变化仅取决于前突触与后突触神经元活动的观点的无监督局部学习，已显示出作为反向传播替代训练机制的潜力。遗憾的是，赫布学习仍具实验性，很少进入标准深度学习框架。在这项工作中，我们研究了赫布学习在标准深度学习工作流中的潜力。为此，提出了一个用于在现有深度学习流水线中对局部学习规则进行彻底系统评估的框架。利用该框架，展示了赫布学习的特征提取器在图像分类中的潜力。特别地，该框架用于将 Krotov-Hopfield 学习规则扩展到标准卷积神经网络，且不牺牲与端到端反向传播相比的精度。源代码可在 https://github.com/Joxis/pytorch-hebbian 获取。
引用
@article{arxiv.2102.00428,
title = {PyTorch-Hebbian: facilitating local learning in a deep learning framework},
author = {Jules Talloen and Joni Dambre and Alexander Vandesompele},
journal= {arXiv preprint arXiv:2102.00428},
year = {2021}
}
备注
Presented as a poster at the NeurIPS 2020 Beyond Backpropagation workshop