Till the Layers Collapse: 通过批归一化层视角压缩深度神经网络
机器学习
2024-12-20 v1 计算与语言
计算机视觉与模式识别
摘要
当今深度神经网络因能处理多种复杂任务而广泛应用，其 generality 使其成为现代技术中强大的工具。然而，深度神经网络常常过于参数化，大型模型的使用消耗大量计算资源。本文引入一种称为 Till the Layers Collapse (TLC) 的方法，通过批归一化层的视角压缩深度神经网络。通过减少网络深度，该方法降低深度神经网络的计算需求和 overall latency。我们在 Swin-T、MobileNet-V2 和 RoBERTa 等流行模型上进行验证，涵盖图像分类和自然语言处理 (NLP) 任务。
引用
@article{arxiv.2412.15077,
title = {Till the Layers Collapse: Compressing a Deep Neural Network through the Lenses of Batch Normalization Layers},
author = {Zhu Liao and Nour Hezbri and Victor Quétu and Van-Tam Nguyen and Enzo Tartaglione},
journal= {arXiv preprint arXiv:2412.15077},
year = {2024}
}
备注
Accepted at AAAI 2025