酉权重的一种投影算法
机器学习
2021-02-22 v1 人工智能
摘要
酉神经网络是解决激活/梯度爆炸与消失问题的有前景的替代方案，且无需降低推理速度的显式归一化。然而，由于其权重矩阵上的额外酉约束，它们往往需要更长的训练时间。在此我们展示一种新颖算法，利用带 Lie 代数的反向传播技术，从其预训练的非酉对应权重计算近似酉权重。以这些近似初始化的酉网络能够快得多地达到所需精度，从而减轻其训练时间的代价，同时保持推理加速。我们的方法将有助于酉网络的适配，尤其对于那些可自由获取预训练权重的神经架构。
引用
@article{arxiv.2102.10052,
title = {A Projection Algorithm for the Unitary Weights},
author = {Hao-Yuan Chang},
journal= {arXiv preprint arXiv:2102.10052},
year = {2021}
}