在伊辛机上训练多层神经网络
机器学习
2023-11-08 v1 人工智能
神经与进化计算
量子物理
摘要
作为一种专用量子设备，伊辛机可在毫秒内求解大规模二元优化问题。随着生成式人工智能的兴起，利用伊辛机训练前馈神经网络正引起越来越多的关注。然而，由于复杂的非线性网络拓扑，现有方法只能训练单层前馈网络。本文提出一种伊辛学习算法来训练量化神经网络（QNN），结合了两项关键技术，即拓扑网络的二元表示与损失函数的降阶。据我们所知，这是首个在伊辛机上训练多层前馈网络的算法，为基于梯度的反向传播提供了替代方案。首先，通过将神经元连接与激活函数表示为等式约束，将 QNN 训练表述为二次约束二元优化（QCBO）问题。所有量化变量基于二元编码协议由二进制位编码。其次，将 QCBO 转换为可在伊辛机上高效求解的二次无约束二元优化（QUBO）问题。该转换同时利用惩罚函数与 Rosenberg 降阶，共同消除等式约束并将高阶损失函数降为二次函数。在一些假设下，理论分析表明本算法的空间复杂度为 ，量化了所需伊辛自旋的数量。最后，在 MNIST 数据集上用模拟伊辛机验证了算法的有效性。退火 700 ms 后，分类准确率达到 98.3%。在 100 次运行中，找到最优解的成功概率为 72%。随着伊辛机上自旋数量的增加，我们的算法有潜力训练更深的神经网络。
引用
@article{arxiv.2311.03408,
title = {Training Multi-layer Neural Networks on Ising Machine},
author = {Xujie Song and Tong Liu and Shengbo Eben Li and Jingliang Duan and Wenxuan Wang and Keqiang Li},
journal= {arXiv preprint arXiv:2311.03408},
year = {2023}
}