移动设备上 AI 模型与框架的对比与基准测试
机器学习
2020-05-12 v1 人工智能
性能
图像与视频处理
摘要
由于数据和计算资源的不断增加，深度学习在各个领域取得了许多成功。深度学习在移动和嵌入式设备上的应用受到越来越多的关注，对移动和嵌入式设备的 AI 能力进行基准测试和排序成为一个亟待解决的问题。考虑到模型多样性和框架多样性，我们提出了一个基准测试套件 AIoTBench，专注于评估移动和嵌入式设备的推理能力。AIoTBench 涵盖了三种典型的重量级网络：ResNet50、InceptionV3、DenseNet121，以及三种轻量级网络：SqueezeNet、MobileNetV2、MnasNet。每个网络均由三种面向移动和嵌入式设备的框架实现：Tensorflow Lite、Caffe2、Pytorch Mobile。为了比较和排序设备的 AI 能力，我们提出了两个作为 AI 分数的统一指标：每秒有效图像数（VIPS）和每秒有效浮点运算数（VOPS）。目前，我们已使用我们的基准测试对 5 款移动设备进行了比较和排序。该列表将在不久后扩展和更新。
引用
@article{arxiv.2005.05085,
title = {Comparison and Benchmarking of AI Models and Frameworks on Mobile Devices},
author = {Chunjie Luo and Xiwen He and Jianfeng Zhan and Lei Wang and Wanling Gao and Jiahui Dai},
journal= {arXiv preprint arXiv:2005.05085},
year = {2020}
}