基于量子退火二值梯度的投影随机梯度下降
计算机视觉与模式识别
2024-09-05 v2 机器学习
量子物理
摘要
我们提出了 QP-SBGD，一种新颖的逐层随机优化器，专为在量子硬件上训练具有二值权重的神经网络（即二值神经网络，BNNs）而设计。BNNs 以极小的精度损失降低了深度学习模型的计算需求与能耗。然而，在实践中训练它们仍是一个开放性挑战。大多数已知的 BNN 优化器要么依赖投影更新，要么在训练后二值化权重。相反，QP-SBGD 通过求解二次约束二值优化，将梯度近似映射到二值变量上。在实际合理的假设下，我们证明该更新规则的收敛速率为 。此外，我们展示了如何在绝热量子退火器上有效执行这一 -困难投影，利用量子计算的最新进展。我们还引入了该更新规则的投影版本，并证明若二值变量空间中存在不动点，则修正后的更新将收敛于该点。最后但同样重要的是，我们的算法以逐层方式实现，使其适合在资源受限的量子硬件上训练更大的网络。通过广泛评估，我们表明在优化 Rosenbrock 函数、训练 BNNs 以及二值图神经网络时，QP-SBGD 优于或与 BinaryConnect、signSGD 和 ProxQuant 等具有竞争力且成熟的基线相当。
引用
@article{arxiv.2310.15128,
title = {Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients},
author = {Maximilian Krahn and Michele Sasdelli and Fengyi Yang and Vladislav Golyanik and Juho Kannala and Tat-Jun Chin and Tolga Birdal},
journal= {arXiv preprint arXiv:2310.15128},
year = {2024}
}