Deeplite Neutrino：一个端到端的约束深度学习模型优化框架
机器学习
2021-01-14 v2 人工智能
计算机视觉与模式识别
摘要
设计基于深度学习的解决方案正变成训练具有更多层数的更深模型的竞赛。虽然大型深层模型可提供有竞争力的精度，但其在开发与部署过程中带来了大量后勤挑战与不合理的资源需求。这已成为深度学习模型未在生产环境中（尤其在边缘设备中）被过度使用的关键原因之一。对优化与压缩这些深度学习模型以实现设备端智能存在迫切需求。在本研究中，我们引入一个黑盒框架 Deeplite Neutrino，用于深度学习模型的生产就绪优化。该框架为终端用户提供简便机制以给出诸如可容忍精度下降或优化模型目标大小等约束，来引导整个优化过程。该框架易于纳入现有生产流水线，并作为支持 PyTorch 与 Tensorflow 库的 Python 包提供。该框架的优化性能在多个基准数据集与流行深度学习模型上得到展示。此外，该框架目前用于生产，来自若干客户的结果与证明被总结。
引用
@article{arxiv.2101.04073,
title = {Deeplite Neutrino: An End-to-End Framework for Constrained Deep Learning Model Optimization},
author = {Anush Sankaran and Olivier Mastropietro and Ehsan Saboori and Yasser Idris and Davis Sawyer and MohammadHossein AskariHemmat and Ghouthi Boukli Hacene},
journal= {arXiv preprint arXiv:2101.04073},
year = {2021}
}
备注
"IAAI Deployed Application Award", IAAI 2021 @ AAAI 2021