MLPerf 移动端推理基准
机器学习
2022-04-07 v4 分布式、并行与集群计算
摘要
本文提出首个行业标准开源机器学习（ML）基准，用于对配备不同 AI 芯片和软件栈的移动设备进行性能与精度评估。该基准汇聚了领先移动 SoC 厂商、ML 框架提供商和模型生产者的专业知识，包含一套基于标准数据集、质量指标和运行规则运行的模型。我们描述了这一领域专用 ML 基准的设计与实现。当前基准版本以移动应用形式提供，支持不同的计算机视觉与自然语言处理任务。该基准亦支持笔记本电脑和移动 PC 等非智能手机设备。前两轮的基准结果表明了底层移动 ML 系统栈的极度复杂性，强调了移动 ML 性能分析透明化的必要性。结果还表明，整个 ML 栈所取得的进展提升了性能。在六个月内，离线吞吐率提升了 3 倍，而延迟最高降低了 12 倍。ML 是一个用例、模型、数据集和质量目标不断演化的领域。MLPerf Mobile 将不断演进，并作为开源社区框架指导移动 AI 的研究与创新。
引用
@article{arxiv.2012.02328,
title = {MLPerf Mobile Inference Benchmark},
author = {Vijay Janapa Reddi and David Kanter and Peter Mattson and Jared Duke and Thai Nguyen and Ramesh Chukka and Ken Shiring and Koan-Sin Tan and Mark Charlebois and William Chou and Mostafa El-Khamy and Jungwook Hong and Tom St. John and Cindy Trinh and Michael Buch and Mark Mazumder and Relia Markovic and Thomas Atta and Fatih Cakir and Masoud Charkhabi and Xiaodong Chen and Cheng-Ming Chiang and Dave Dexter and Terry Heo and Gunther Schmuelling and Maryam Shabani and Dylan Zika},
journal= {arXiv preprint arXiv:2012.02328},
year = {2022}
}