深度学习模型转换挑战的实证研究
机器学习
2022-06-30 v1
摘要
基于深度学习（DL）的软件系统在现实应用中的部署日益增多。通常DL模型使用具有自身内部机制/格式来表示和训练DL模型的DL框架开发与训练，且这些格式通常无法被其他框架识别。此外，训练好的模型通常部署在与开发环境不同的环境中。为解决互操作性问题并使DL模型兼容不同框架/环境，业界引入了若干DL模型的交换格式，如ONNX与CoreML。然而，社区从未对ONNX和CoreML进行实证评估，以揭示转换后的预测准确率、性能与鲁棒性。转换模型较差的准确率或非鲁棒行为可能导致已部署的基于DL的软件系统质量低下。本文中，我们开展了首项评估ONNX与CoreML转换训练后DL模型的实证研究。在我们的系统方法中，使用两个流行的DL框架Keras和PyTorch在三个流行数据集上训练五个广泛使用的DL模型。然后将训练好的模型转换为ONNX和CoreML并转移到专用于此类格式的两种运行时环境进行评估。我们考察了转换前后的预测准确率。我们的结果揭示，转换模型的预测准确率与原始模型处于同一水平。同时也研究了转换模型的性能（时间成本与内存消耗）。转换后模型尺寸减小，可优化基于DL的软件部署。转换模型总体被评估为与原始模型同等鲁棒。然而，所得结果显示，相较于ONNX，CoreML模型更易受对抗攻击影响。
引用
@article{arxiv.2206.14322,
title = {An Empirical Study of Challenges in Converting Deep Learning Models},
author = {Moses Openja and Amin Nikanjam and Ahmed Haj Yahmed and Foutse Khomh and Zhen Ming and Jiang},
journal= {arXiv preprint arXiv:2206.14322},
year = {2022}
}
备注
Accepted for publication in ICSME 2022