正交神经网络的经典与量子算法
量子物理
2022-12-26 v2
摘要
正交神经网络近来作为一种对权重矩阵施加正交性约束的新型神经网络被提出。它们能够在深层架构中实现更高精度，并避免梯度消失或爆炸。已有若干经典梯度下降方法被提出以在更新权重矩阵时保持正交性，但这些技术存在运行时间长或仅能提供近似正交性的问题。在本文中，我们引入一种称为金字塔电路（Pyramidal Circuit）的新型神经网络层，其实现了正交矩阵乘法。它允许以与标准层相同的渐近运行时间进行具有完美正交性的梯度下降。该算法受量子计算启发，因此既可在经典计算机上运行，也可在近term量子计算机上应用。它有望成为量子神经网络和更快速正交神经网络的构建模块。
引用
@article{arxiv.2106.07198,
title = {Classical and Quantum Algorithms for Orthogonal Neural Networks},
author = {Iordanis Kerenidis and Jonas Landman and Natansh Mathur},
journal= {arXiv preprint arXiv:2106.07198},
year = {2022}
}