解耦对神经网络剪枝的影响
机器学习
2023-07-20 v1 计算机视觉与模式识别
信号处理
摘要
在边缘设备上部署深度学习神经网络以在现实世界中完成特定任务目标，需要减小其内存占用、功耗和延迟。这可以通过高效的模型压缩实现。变分自编码器（VAE）网络生成的解耦潜表示是一种有前景的模型压缩方法，因为它们主要保留任务特定信息，丢弃当前任务的无用信息。我们利用 Beta-VAE 框架结合标准剪枝准则，研究在分类任务中迫使网络学习解耦表示对剪枝过程的影响。具体而言，我们在 MNIST 和 CIFAR10 数据集上进行实验，检视解耦挑战，并为未来工作提出路径。
引用
@article{arxiv.2307.09994,
title = {Impact of Disentanglement on Pruning Neural Networks},
author = {Carl Shneider and Peyman Rostami and Anis Kacem and Nilotpal Sinha and Abd El Rahman Shabayek and Djamila Aouada},
journal= {arXiv preprint arXiv:2307.09994},
year = {2023}
}
备注
Presented in ISCS23