MNN：一种通用高效的推理引擎
计算机视觉与模式识别
2020-03-02 v1 分布式、并行与集群计算
机器学习
摘要
最近，在移动设备上部署深度学习模型越来越受到关注。然而，在设备上设计高效的推理引擎面临着模型兼容性、设备多样性和资源限制的巨大挑战。为了应对这些挑战，我们提出了移动神经网络(MNN)，一个为移动应用量身定制的通用高效推理引擎。在本文中，MNN的贡献包括：(1)提出了一种称为预推理的机制，实现了运行时优化；(2)对算子进行了彻底的内核优化，以实现最佳计算性能；(3)引入了后端抽象模块，实现了混合调度并保持引擎轻量级。广泛的基准实验表明，MNN在性能上优于其他流行的轻量级深度学习框架。MNN可在https://github.com/alibaba/MNN公开获取。
引用
@article{arxiv.2002.12418,
title = {MNN: A Universal and Efficient Inference Engine},
author = {Xiaotang Jiang and Huan Wang and Yiliu Chen and Ziqi Wu and Lichuan Wang and Bin Zou and Yafeng Yang and Zongyang Cui and Yu Cai and Tianhang Yu and Chengfei Lv and Zhihua Wu},
journal= {arXiv preprint arXiv:2002.12418},
year = {2020}
}
备注
Accepted by MLSys 2020