projUNN:用酉矩阵训练深度网络的高效方法
机器学习
2022-10-17 v3 人工智能
量子物理
摘要
在循环或极深前馈网络的学习中,在每层采用酉矩阵可非常有效地维持长程稳定性。然而,将网络参数限制为酉矩阵通常以昂贵的参数化或增加的训练运行时间为代价。我们转而提出一种基于秩- 更新——或其秩- 近似——的高效方法,以近乎最优的训练运行时间维持性能。我们引入该方法的两种变体,称为直接(projUNN-D)与切向(projUNN-T)投影酉神经网络,可用训练运行时间随 缩放的方式参数化完整的 维酉或正交矩阵。我们的方法或将低秩梯度投影到最近酉矩阵(projUNN-T),或沿低秩梯度方向平移酉矩阵(projUNN-D)。即便在最快速设置()下,projUNN 也能训练模型的酉参数达到与基线实现相当的 performances。在循环神经网络设置中,projUNN 紧密匹配或超越先前酉神经网络的基准结果。最后,我们初步探索 projUNN 在训练正交卷积神经网络中的应用,其目前尚不能超越 state of the art 模型,但有可能在 Large depth 下增强稳定性与鲁棒性。
引用
@article{arxiv.2203.05483,
title = {projUNN: efficient method for training deep networks with unitary matrices},
author = {Bobak Kiani and Randall Balestriero and Yann LeCun and Seth Lloyd},
journal= {arXiv preprint arXiv:2203.05483},
year = {2022}
}