DeepTwist：通过偶发性权重失真学习模型压缩
机器学习
2018-10-31 v1 机器学习
摘要
模型压缩已被引入以在保持模型精度的同时减少所需的硬件资源。针对模型压缩已提出了许多技术，如剪枝、量化和低秩近似，并伴随不同的推理实现特性。然而，采用模型压缩仍然具有挑战性，因为为了实现高压缩率，由于额外的超参数和计算开销，模型压缩的设计复杂性正在迅速增加。在本文中，我们提出了一种简单高效的模型压缩框架，称为 DeepTwist，它以偶发方式失真权重，而无需修改底层训练算法。给定压缩权重的格式，设计权重失真函数的思路直观且直接。我们表明，我们提出的框架显著提高了剪枝、量化和低秩近似技术的压缩率，同时大幅减少了额外再训练和/或超参数搜索的工作量。本文还报告了 DeepTwist 的正则化效应。
引用
@article{arxiv.1810.12823,
title = {DeepTwist: Learning Model Compression via Occasional Weight Distortion},
author = {Dongsoo Lee and Parichay Kapoor and Byeongwook Kim},
journal= {arXiv preprint arXiv:1810.12823},
year = {2018}
}