使用判别性掩码（DAM）学习神经网络的紧凑表示
机器学习
2021-10-05 v1 人工智能
摘要
深度学习的一个核心目标是在神经网络的每一层学习特征的紧凑表示，这对于无监督表示学习和结构化网络剪枝都很有用。尽管结构化剪枝方面的工作日益增多，当前最先进的方法存在两个关键局限：(i) 训练期间的不稳定性，以及 (ii) 需要额外的微调步骤，而这是资源密集型的。这些局限的核心在于缺乏一种系统的方法，能够在单一阶段联合剪枝并精炼权重，并且在收敛后无需任何微调即可达到最先进的性能。我们提出了一种称为判别性掩码（DiscriminAtive Masking, DAM）的新型单阶段结构化剪枝方法。DAM 背后的关键直觉是在训练过程中判别性地偏好部分神经元被精炼，同时逐步掩码掉其他神经元。我们展示了我们所提出的 DAM 方法在多种应用上具有显著良好的性能，包括降维、推荐系统、图表示学习和图像分类的结构化剪枝。我们还从理论上证明 DAM 的学习目标直接关联到最小化掩码层的 L0 范数。
引用
@article{arxiv.2110.00684,
title = {Learning Compact Representations of Neural Networks using DiscriminAtive Masking (DAM)},
author = {Jie Bu and Arka Daw and M. Maruf and Anuj Karpatne},
journal= {arXiv preprint arXiv:2110.00684},
year = {2021}
}
备注
25 pages, 11 figures, 7 tables, Accepted to NeurIPS 2021