TOCO：一种基于容差分析的神经网络模型压缩框架
机器学习
2019-12-20 v2 机器学习
摘要
神经网络压缩方法通过使已训练模型适应这些设备的约束，以极小代价将大型模型部署到新兴边缘设备上。具备 AI 能力的边缘设备计算和存储有限，其快速发展要求有精简的方法论来高效满足不同设备的约束。相比之下，现有方法常依赖启发式和手动调整以保持精度，仅支持粗粒度压缩策略，或针对特定设备约束从而限制了适用性。我们通过提出基于容差（TOlerance-based COmpression, TOCO）的压缩框架来解决这些局限。TOCO 在主动学习系统中通过对模型进行深入分析来保持精度。分析结果得到的容差可用于以细粒度方式执行压缩。最后，通过将压缩与容差分析解耦，TOCO 可灵活应对硬件变化。
引用
@article{arxiv.1912.08792,
title = {TOCO: A Framework for Compressing Neural Network Models Based on Tolerance Analysis},
author = {Soroosh Khoram and Jing Li},
journal= {arXiv preprint arXiv:1912.08792},
year = {2019}
}