基于能量的模拟计算学习算法：一项比较研究
机器学习
2023-12-27 v1 计算机视觉与模式识别
摘要
基于能量的学习算法最近因其与模拟（后数字）硬件的兼容性而受到广泛关注。现有算法包括对比学习（CL）、均衡传播（EP）和耦合学习（CpL），所有这些算法都涉及对比两个状态，区别在于用于从第一个状态获得第二个状态的扰动类型。然而，这些算法从未在相同模型和数据集上平等地进行过明确比较，这使得评估其可扩展性和决定在实践中选择哪一个变得困难。在这项工作中，我们对七种学习算法进行了比较，即CL以及EP和CpL的不同变体，取决于扰动的符号。具体来说，使用这些学习算法，我们在五个视觉任务（MNIST、F-MNIST、SVHN、CIFAR-10和CIFAR-100）上训练了深度卷积Hopfield网络（DCHN）。我们发现，虽然所有算法在MNIST上产生可比的性能，但随着任务难度的增加，性能出现重要差异。我们的关键发现表明，负扰动优于正扰动，并强调了EP的中心化变体（使用两个相反符号的扰动）作为性能最佳的算法。我们还用理论论证支持了这些发现。此外，我们在所有五个数据集上建立了DCHN的新SOTA结果，无论是在性能还是速度上。特别是，我们的DCHN模拟比Laborieux等人（2021）快13.5倍，这得益于我们使用了一种基于异步更新的新型能量最小化算法，并结合了降低的精度（16位）。
引用
@article{arxiv.2312.15103,
title = {Energy-based learning algorithms for analog computing: a comparative study},
author = {Benjamin Scellier and Maxence Ernoult and Jack Kendall and Suhas Kumar},
journal= {arXiv preprint arXiv:2312.15103},
year = {2023}
}
备注
NeurIPS 2023