KD-Lib：一个用于知识蒸馏、剪枝与量化的 PyTorch 库
机器学习
2020-12-01 v1
摘要
近年来，神经网络规模的不断增长引发了大量关于压缩技术的研究，以缓解此类大规模带来的弊端。这些研究工作大多可归为三大类：知识蒸馏（Knowledge Distillation）、剪枝（Pruning）与量化（Quantization）。尽管该领域研究持续进展，所提技术的采用与商业应用却未以同等速度推进。我们推出 KD-Lib，一个基于 PyTorch 的开源库，其在多个抽象层之上包含了来自这三类算法的最先进模块化实现。KD-Lib 与模型和算法无关，并扩展支持使用 Optuna 进行超参数调优，以及使用 Tensorboard 进行日志记录与监控。该库可在 https://github.com/SforAiDl/KD_Lib 获取。
引用
@article{arxiv.2011.14691,
title = {KD-Lib: A PyTorch library for Knowledge Distillation, Pruning and Quantization},
author = {Het Shah and Avishree Khare and Neelay Shah and Khizir Siddiqui},
journal= {arXiv preprint arXiv:2011.14691},
year = {2020}
}