通过无数据知识迁移实现准确量化与剪枝
机器学习
2020-10-16 v1 计算机视觉与模式识别
摘要
当大规模训练数据可用时，人们可以通过量化和剪枝有效地获得紧凑且准确的网络，以部署在资源受限的环境中。然而，训练数据常因隐私问题受到保护，在没有数据的情况下获得紧凑网络具有挑战性。我们通过将知识从训练好的大型网络迁移到紧凑网络来研究无数据量化和剪枝。辅助生成器与目标紧凑网络同时以对抗方式训练，以生成最大化给定大型网络与其量化或剪枝版本之间差异的合成输入。我们从理论上表明，底层极小极大问题的交替优化在温和条件下对剪枝和量化收敛。我们的无数据紧凑网络取得了与用训练数据训练和微调的网络相竞争的精度。我们的量化和剪枝网络在更紧凑和轻量的同时取得了良好性能。此外，我们证明了来自 Lottery Ticket Hypothesis 的紧凑结构和相应初始化也有助于无数据训练。
引用
@article{arxiv.2010.07334,
title = {Towards Accurate Quantization and Pruning via Data-free Knowledge Transfer},
author = {Chen Zhu and Zheng Xu and Ali Shafahi and Manli Shu and Amin Ghiasi and Tom Goldstein},
journal= {arXiv preprint arXiv:2010.07334},
year = {2020}
}