在 PyTorch 中简化张量与网络剪枝
机器学习
2020-04-30 v1 机器学习
摘要
为了应对最先进机器学习模型规模的爆炸式增长（这可归因于过参数化的经验优势），并因在资源受限设备上部署快速、可持续且私有的端侧模型之需，学界已将剪枝、量化和蒸馏等技术作为模型压缩的核心策略。为促进在 PyTorch 中采用神经网络剪枝通用接口这一目标，本文介绍了近期新增的 PyTorch torch.nn.utils.prune 模块，其提供共享的开源剪枝功能，以降低在训练前、训练中及/或训练后缩减模型规模与容量的技术实现门槛。我们展示了该模块的用户接口，阐明实现细节，举例说明用法，并提出了将所贡献功能扩展到新剪枝方法的途径。
引用
@article{arxiv.2004.13770,
title = {Streamlining Tensor and Network Pruning in PyTorch},
author = {Michela Paganini and Jessica Forde},
journal= {arXiv preprint arXiv:2004.13770},
year = {2020}
}
备注
5 pages, 1 figure, 5 code listings. Published as a workshop paper at ICLR 2020