基于变分自编码器的神经网络模型压缩
机器学习
2024-08-28 v1 人工智能
摘要
变分自编码器（Variational Autoencoders, VAEs）作为深度生成模型，近年来在诸多领域广泛应用，包括图像生成和异常检测等，展现出卓越的性能。本文旨在探索基于VAE的神经网络模型压缩方法。实验使用不同的神经网络模型进行MNIST识别作为压缩目标，包括全连接神经网络（FNN）、卷积神经网络（CNN）、循环神经网络（RNN）和长短期记忆网络（LSTM）。这些模型是深度学习中的基础模型，其他更复杂和先进的模型基于它们或继承其特征并演化。实验中，首先训练上述模型，每个训练模型都具有不同的准确率和总参数数量。随后，对每个模型的参数变体分别作为VAEs的训练数据处理，然后测试所训练的VAEs。实验结果表明，使用潜在空间作为模型压缩的表示可提高与剪枝和量化等传统方法相比的压缩比率，同时使用基于潜在空间重构的模型参数对准确率影响不大。展望未来，随着各种大规模深度学习模型的广泛应用，探索节省模型存储和传输时间与空间的不同方式将变得必要，本文中VAE的应用为这些进一步的探索提供了基础。
引用
@article{arxiv.2408.14513,
title = {Variational autoencoder-based neural network model compression},
author = {Liang Cheng and Peiyuan Guan and Amir Taherkordi and Lei Liu and Dapeng Lan},
journal= {arXiv preprint arXiv:2408.14513},
year = {2024}
}