VQ4ALL：通过通用码本实现高效神经网络表示
机器学习
2024-12-11 v1 人工智能
摘要
大型神经网络模型的快速增长对轻量级网络表示方法提出了新的要求。基于模型压缩的传统方法已取得巨大成功，特别是VQ技术通过共享码字实现了模型的高压缩比。然而，由于网络的每一层都需要构建码表，传统自顶向下的压缩技术缺乏对底层共性特征的关注，导致压缩率有限且内存访问频繁。本文提出一种自底向上的方法，在多个神经网络之间共享通用码本，这不仅有效减少了码本数量，还通过将静态码表存储在内置ROM中进一步减少了内存访问和芯片面积。具体而言，本文引入VQ4ALL，一种基于VQ的方法，利用码字实现多种神经网络的构建并达成高效表示。本方法的核心思想是采用核密度估计方法提取通用码本，然后通过更新可微分配逐步构建不同的低位网络。实验结果表明，VQ4ALL在保持多种网络架构高精度的同时实现了超过16倍的压缩率，凸显了其有效性和通用性。
引用
@article{arxiv.2412.06875,
title = {VQ4ALL: Efficient Neural Network Representation via a Universal Codebook},
author = {Juncan Deng and Shuaiting Li and Zeyu Wang and Hong Gu and Kedong Xu and Kejie Huang},
journal= {arXiv preprint arXiv:2412.06875},
year = {2024}
}