深度酉卷积神经网络
机器学习
2021-08-24 v2 人工智能
摘要
深度神经网络可能遭受激活爆炸与消失问题，即神经信号在各层间放大或衰减并达到饱和，致使网络无法正确训练。虽然其他归一化方法旨在修复所述问题，但其中多数在需要神经激活运行平均的应用中带来推理速度惩罚。此处我们将基于Lie代数的酉框架扩展至任意维数的神经网络，克服了先前方法限制突触权重为方阵的主要约束。我们提出的酉卷积神经网络在保持有竞争力的预测精度的同时，实现了高达32%更快的推理速度以及高达50%的永久硬盘空间缩减。
引用
@article{arxiv.2102.11855,
title = {Deep Unitary Convolutional Neural Networks},
author = {Hao-Yuan Chang and Kang L. Wang},
journal= {arXiv preprint arXiv:2102.11855},
year = {2021}
}