Auto-Train-Once：控制器网络引导的从零开始自动网络剪枝
计算机视觉与模式识别
2024-03-25 v1 机器学习
摘要
当前的深度神经网络剪枝技术通常涉及复杂的多步骤流程，需要特定领域的专业知识，这使得其广泛采用面临挑战。为了解决这一局限性，Only-Train-Once（OTO）和 OTOv2 被提出，通过从零开始直接训练和压缩通用 DNN 来消除额外微调步骤的需求。然而，优化器的静态设计（在 OTO 中）可能导致局部最优的收敛问题。在本文中，我们提出了 Auto-Train-Once（ATO），一种创新的网络剪枝算法，旨在自动降低 DNN 的计算和存储成本。在模型训练阶段，我们的方法不仅训练目标模型，还利用控制器网络作为架构生成器来引导目标模型权重的学习。此外，我们开发了一种新型随机梯度算法，增强了模型训练与控制器网络训练之间的协调，从而提升了剪枝性能。我们提供了全面的收敛性分析以及大量实验，结果表明，我们的方法在标准基准数据集（CIFAR-10、CIFAR-100 和 ImageNet）上的各种模型架构（包括 ResNet18、ResNet34、ResNet50、ResNet56 和 MobileNetv2）上均实现了 SOTA 性能。
引用
@article{arxiv.2403.14729,
title = {Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch},
author = {Xidong Wu and Shangqian Gao and Zeyu Zhang and Zhenzhen Li and Runxue Bao and Yanfu Zhang and Xiaoqian Wang and Heng Huang},
journal= {arXiv preprint arXiv:2403.14729},
year = {2024}
}