具有固定蝴蝶结构的稀疏线性网络：理论与实践
机器学习
2021-07-06 v2 机器学习
摘要
蝴蝶网络由对数多个层组成，每层具有线性数量的非零权重(预先指定)。快速Johnson-Lindenstrauss变换(FJLT)可表示为一个蝴蝶网络后接向坐标随机子集的投影。此外，基于FJLT的随机矩阵以高概率逼近任意矩阵在向量上的作用。受这些事实启发，我们提议将任意神经网络中的稠密线性层替换为基于蝴蝶网络的架构。所提架构将标准稠密层所需的二次权重数量显著改进为近乎线性，且所得算子的表达能力几乎不受损。在包括NLP与视觉数据上监督预测在内的多种实验中，我们表明这不仅产生与现有知名架构匹敌且有时更优的结果，还提供了部署中更快的训练与预测。为理解带蝴蝶网络的神经网络所提出的优化问题，我们还研究了编码器-解码器网络的优化景观，其中编码器被替换为蝴蝶网络后接小维度稠密线性层。文中给出的理论结果解释了为何我们提出的方法未损害训练速度与结果。
引用
@article{arxiv.2007.08864,
title = {Sparse Linear Networks with a Fixed Butterfly Structure: Theory and Practice},
author = {Nir Ailon and Omer Leibovich and Vineet Nair},
journal= {arXiv preprint arXiv:2007.08864},
year = {2021}
}
备注
Accepted to UAI 2021