粗化粒度：迈向结构稀疏彩票票假设
机器学习
2022-06-13 v2 人工智能
摘要
彩票票假设（LTH）表明，密集模型包含高度稀疏的子网络（即中奖彩票），这些子网络可以孤立训练以达到完整精度。尽管已有许多令人振奋的努力，但有一个“常识”很少受到挑战：中奖彩票是通过迭代幅度剪枝（IMP）找到的，因此所得的剪枝子网络仅具有非结构化稀疏性。这一差距限制了中奖彩票在实际应用中的吸引力，因为高度不规则的稀疏模式在硬件上难以加速。同时，在IMP中直接用结构化剪枝替代非结构化剪枝会严重损害性能，并且通常无法定位中奖彩票。在本文中，我们展示了第一个积极结果，即通常可以有效地找到结构稀疏的中奖彩票。核心思想是在每一轮（非结构化）IMP之后附加“后处理技术”，以强制形成结构化稀疏性。具体而言，我们首先将剪枝掉的元素“重新填充”回一些被认为重要的通道中，然后“重新分组”非零元素以创建灵活的组级结构化模式。我们识别出的通道级和组级结构化子网络都赢得了彩票，并具有现有硬件易于支持的显著推理加速。在多个网络骨干上跨不同数据集进行的大量实验一致验证了我们的提议，表明LTH的硬件加速障碍现已消除。具体而言，在{CIFAR, Tiny-ImageNet, ImageNet}上，结构化中奖彩票在{36%~80%, 74%, 58%}的稀疏度下，分别获得了高达{64.93%, 64.84%, 60.23%}的运行时间节省，同时保持了可比的精度。代码位于https://github.com/VITA-Group/Structure-LTH。
引用
@article{arxiv.2202.04736,
title = {Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets},
author = {Tianlong Chen and Xuxi Chen and Xiaolong Ma and Yanzhi Wang and Zhangyang Wang},
journal= {arXiv preprint arXiv:2202.04736},
year = {2022}
}
备注
Accepted by ICML 2022