FastHebb：将深度神经网络的赫布训练扩展至 ImageNet 规模
计算机视觉与模式识别
2022-07-08 v1
摘要
深度神经网络的学习算法通常基于带有误差反向传播 的监督式端到端随机梯度下降 (SGD) 训练。反向传播算法需要大量带标签的训练样本才能实现高性能。然而，在许多实际应用中，即使有大量的图像样本，其中带有标签的也极少，因此必须使用半监督的样本高效训练策略。赫布学习 代表了一种实现样本高效训练的可能途径；然而，在现有解决方案中，它难以很好地扩展至大型数据集。在本文中，我们提出了 FastHebb，一种用于赫布学习的高效且可扩展的解决方案，它通过以下方式实现了更高的效率：1) 将一批输入的更新计算与聚合合并在一起；2) 在 GPU 上利用高效的矩阵乘法算法。我们在半监督学习场景下的不同计算机视觉基准上验证了我们的方法。FastHebb 在训练速度上比以往解决方案快达 50 倍，且值得注意的是，我们首次将赫布算法成功应用于 ImageNet 规模。
引用
@article{arxiv.2207.03172,
title = {FastHebb: Scaling Hebbian Training of Deep Neural Networks to ImageNet Level},
author = {Gabriele Lagani and Claudio Gennaro and Hannes Fassold and Giuseppe Amato},
journal= {arXiv preprint arXiv:2207.03172},
year = {2022}
}
备注
14 pages, 3 figures, 2 tables. Submitted at SISAP 2022