利用忆阻计算加速深度学习

受限玻尔兹曼机（RBMs）及其扩展形式“深度信念网络”是强大的神经网络，已在机器学习和人工智能领域得到应用。训练这些模型的标准方法依赖于一种基于 Gibbs 采样的迭代无监督过程，称为“对比散度”（CD），以及通过反向传播进行的额外有监督微调。然而，这一过程已被证明不遵循任何梯度，并可能导致次优解。在本文中，我们展示了一种通过数字忆阻计算机器（DMMs）仿真来实现的高效 CD 替代方案。我们在使用修改版 MNIST 数据集的模式识别上测试了我们的方法。DMMs 有效地采样了由 RBM 模型分布给出的广阔相空间，并提供了接近最优的非常好的近似。这种高效搜索显著减少了达到给定精度水平所需的预训练迭代次数，以及相对于 CD 的总体性能提升。事实上，通过仿真 DMMs 实现的预训练加速在迭代次数上可与最近报道的在同一网络和数据集上量子退火方法的硬件应用相媲美。然而值得注意的是，在训练质量方面 DMMs 的表现远优于所报道的量子退火结果。我们还将我们的方法与有监督训练中的进展进行了比较，如批量归一化和修正线性单元，这些工作旨在减少预训练的优势。我们发现忆阻计算方法相对于这些方法仍保持质量优势（准确率提高 >1%，错误率降低 20%）。此外，我们的方法对网络的连通性不可知。因此，它可扩展为一次性训练完整的玻尔兹曼机，甚至深度网络。