HESSO：迈向自动高效且用户友好的任意神经网络训练与剪枝
机器学习
2025-05-09 v2 计算机视觉与模式识别
图像与视频处理
摘要
结构化剪枝是将笨重的深度神经网络（DNN）有效压缩为紧凑子网络同时保持性能的最流行方法之一。现有方法存在多阶段流程以及需要大量工程投入和人类专业知识的问题。最近提出的仅训练一次（OTO）系列旨在通过自动执行（i）搜索空间生成、（ii）结构化稀疏优化和（iii）子网络构建来简化工作流程，从而解决许多痛点。然而，OTO 系列内置的稀疏优化器，即半空间投影梯度（HSPG）系列，存在需要超参数调优和隐式控制稀疏性探索的局限性，因此需要人类专业知识的干预。为了解决这些局限性，我们提出了混合高效结构化稀疏优化器（HESSO）。HESSO 能够自动高效地训练 DNN，以产生高性能的子网络。同时，它几乎无需调参，并可用户友好地集成到通用训练应用中。为了解决在剪枝 DNN 中观察到的另一个常见问题——不可逆的性能崩溃，我们进一步提出了一个校正冗余识别循环（CRIC），用于可靠地识别不可或缺的结构。我们在从计算机视觉到自然语言处理（包括大型语言模型）的各种应用上数值验证了 HESSO 及其增强版本 HESSO-CRIC 的功效。数值结果表明，HESSO 可以实现与各种最先进技术相竞争甚至更优越的性能，并支持大多数 DNN 架构。同时，CRIC 可以有效防止不可逆的性能崩溃，并在某些应用上进一步增强 HESSO 的性能。
引用
@article{arxiv.2409.09085,
title = {HESSO: Towards Automatic Efficient and User Friendly Any Neural Network Training and Pruning},
author = {Tianyi Chen and Xiaoyi Qu and David Aponte and Colby Banbury and Jongwoo Ko and Tianyu Ding and Yong Ma and Vladimir Lyapunov and Ilya Zharkov and Luming Liang},
journal= {arXiv preprint arXiv:2409.09085},
year = {2025}
}
备注
19 pages, 6 figures