参数高效掩码网络
机器学习
2022-10-14 v1
摘要
更深的网络结构通常能处理更复杂的非线性并表现更强的竞争力。如今，先进的网络设计常包含大量重复结构（如 Transformer）。它们将网络容量提升到新高度，但也不可避免地增大了模型规模，不利于模型保存或迁移。本研究中，我们首次通过学习多样化掩码来探究具有有限唯一值的固定随机权重的表征潜力，并引入参数高效掩码网络（PEMN）。它也自然导出了一种用于缩减模型规模的新模型压缩范式。具体而言，受现代神经网络中重复结构启发，我们利用一层随机初始化层，配合不同掩码，来传达不同特征映射并表示重复网络模块。因此，模型可表示为带有一组掩码的“单层”，显著降低了模型存储开销。此外，我们通过为填充给定随机权重向量的模型学习掩码来增强策略。以此方式，我们的方法可进一步降低空间复杂度，尤其针对无大量重复架构的模型。我们验证了 PEMN 在有限唯一值随机权重上学习掩码的潜力，并基于不同网络架构测试了其作为一种新压缩范式的有效性。代码见 https://github.com/yueb17/PEMN
引用
@article{arxiv.2210.06699,
title = {Parameter-Efficient Masking Networks},
author = {Yue Bai and Huan Wang and Xu Ma and Yitian Zhang and Zhiqiang Tao and Yun Fu},
journal= {arXiv preprint arXiv:2210.06699},
year = {2022}
}