CoCoPIE：让移动端 AI 甜如馅饼——压缩与编译协同设计大有可为
机器学习
2020-05-18 v3 性能
机器学习
摘要
业界假定硬件是实现实时移动智能的主要约束，因而主要致力于为机器学习和推理开发专用硬件加速器。本文挑战这一假设。借助近期提出的实时 AI 优化框架 CoCoPIE，本文主张通过有效的压缩-编译器协同设计，无需特殊硬件即可在主流终端设备实现实时人工智能。CoCoPIE 是一个软件框架，在移动端 AI 上保持多项纪录：首个支持所有主要类型 DNN 的框架，从 CNN 到 RNN、transformer、语言模型等；最快的 DNN 剪枝与加速框架，比其他框架（如 TensorFlow-Lite）上的当前 DNN 剪枝快达 180 倍；使许多代表性 AI 应用能够在现成移动设备上实时运行，而此前认为这些应用仅有特殊硬件支持才可能实现；使现成移动设备在能效和/或性能上优于若干代表性 ASIC 与 FPGA 方案。
引用
@article{arxiv.2003.06700,
title = {CoCoPIE: Making Mobile AI Sweet As PIE --Compression-Compilation Co-Design Goes a Long Way},
author = {Shaoshan Liu and Bin Ren and Xipeng Shen and Yanzhi Wang},
journal= {arXiv preprint arXiv:2003.06700},
year = {2020}
}