通过极化正则化与一次性训练学习共识子网络
机器学习
2025-01-13 v5 计算机视觉与模式识别
摘要
鉴于近期神经网络模型日益庞大复杂的趋势，绿色AI主题在深度学习界受到关注。现有降低训练与推理时计算负载的方案通常涉及剪枝网络参数。剪枝方案常造成额外开销：静态剪枝需迭代训练与微调，动态剪枝需重复计算剪枝图。我们提出一种新的参数剪枝策略，用于学习更轻量子网络，在给定下游任务上最小化能量成本的同时保持与全参数网络相当的性能。我们提出的剪枝方案面向绿色，仅需一次训练即可通过动态剪枝方法发现最优静态子网络。该剪枝方案由二元门控模块和极化损失函数组成，以揭示用户定义稀疏度的子网络。我们的方法使剪枝与训练同时进行，从而节省训练与推理阶段的能量，并避免推理时门控模块带来的额外计算开销。我们在CIFAR-10、CIFAR-100和Tiny Imagenet上的结果表明，该方案可移除深度网络中50%的连接，分类准确率下降<1%。与其他相关剪枝方法相比，我们的方法在同等计算成本削减下表现出更低的准确率下降。
引用
@article{arxiv.2302.10798,
title = {Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training},
author = {Xiaoying Zhi and Varun Babbar and Rundong Liu and Pheobe Sun and Fran Silavong and Ruibo Shi and Sean Moran},
journal= {arXiv preprint arXiv:2302.10798},
year = {2025}
}