Pixelated Butterfly:用于神经网络模型的简单高效稀疏训练
机器学习
2022-05-12 v2
摘要
过参数化神经网络泛化性好但训练昂贵。理想情况下,人们希望降低其计算成本同时保留其泛化益处。稀疏模型训练是实现此目标的一种简单且有前景的方法,但现有方法面临精度损失、训练运行慢或难以稀疏化所有模型组件的挑战。核心问题是在离散稀疏矩阵集合上搜索稀疏掩码困难且昂贵。为此,我们的主要见解是在具有已知固定结构(称为 butterfly 矩阵之积)的稀疏矩阵连续超集上优化。由于 butterfly 矩阵硬件效率不高,我们提出 butterfly 的简单变体(块和扁平)以利用现代硬件。我们的方法(Pixelated Butterfly)使用基于扁平块 butterfly 和低秩矩阵的简单固定稀疏模式来稀疏化大多数网络层(例如 attention、MLP)。我们经验性验证 Pixelated Butterfly 比 butterfly 快 3 倍,并加速训练以实现有利的精度--效率权衡。在 ImageNet 分类和 WikiText-103 语言建模任务上,我们的稀疏模型比稠密 MLP-Mixer、Vision Transformer 和 GPT-2 medium 训练快达 2.5 倍且精度无下降。
引用
@article{arxiv.2112.00029,
title = {Pixelated Butterfly: Simple and Efficient Sparse training for Neural Network Models},
author = {Tri Dao and Beidi Chen and Kaizhao Liang and Jiaming Yang and Zhao Song and Atri Rudra and Christopher Ré},
journal= {arXiv preprint arXiv:2112.00029},
year = {2022}
}
备注
International Conference on Learning Representations (ICLR) 2022 spotlight