迈向通过混合梯度计算训练数字绑定模拟模块
机器学习
2024-09-06 v1
摘要
标准数字电子领域的能效正在趋于平缓，因此需要新的硬件、模型和算法来降低 AI 训练的成本。基于能量的模拟电路与平衡传播(EP)算法的结合，构成了用于神经网络基于梯度优化的一个极具吸引力的替代计算范式。然而，现有的模拟硬件加速器通常结合数字电路以维持辅助的非权重平稳操作、减轻模拟器件缺陷，并利用现有的数字加速器。这种异构硬件方法需要一种新的理论模型构建模块。在本工作中，我们引入了前馈绑定能量模型(ff-EBMs)，这是一种由前馈和基于能量的模块组成的混合模型，分别对应数字和模拟电路。我们推导出一种新算法，通过分别在前馈和基于能量的部分进行反向传播和“平衡传播”，在 ff-EBMs 中进行端到端梯度计算，从而使 EP 能够应用于更灵活和现实的架构。我们在以深度 Hopfield 网络(DHNs)作为基于能量模块的 ff-EBMs 上实验证明了所提方法的有效性。我们首先表明，标准 DHN 可以被任意分割成任何均匀大小，同时保持性能。然后我们在 ImageNet32 上训练 ff-EBMs，在此我们确立了 EP 文献中的新 SOTA 性能(46% top-1)。我们的方法提供了一条有原则、可扩展且渐进的路线图，以逐步将自可训练的模拟计算原语集成到现有的数字加速器中。
引用
@article{arxiv.2409.03306,
title = {Towards training digitally-tied analog blocks via hybrid gradient computation},
author = {Timothy Nest and Maxence Ernoult},
journal= {arXiv preprint arXiv:2409.03306},
year = {2024}
}