基于成本驱动的机器学习流水线软硬件协同优化
机器学习
2023-10-20 v2
摘要
研究人员长期宣扬由物联网设备（包括智能传感器、智能家居与智能城市）普及所赋能的未来愿景。越来越多地，在此类设备中嵌入智能涉及深度神经网络的使用。然而，其存储与处理需求使得其在廉价现成平台上难以承受。克服这些需求对于实现广泛适用的智能设备至关重要。尽管已开发出多种使模型更小更高效的方法，但对于哪些方法最适合特定场景仍缺乏认识。对边缘平台更为重要的是，这些选择无法脱离成本与用户体验而孤立分析。本工作中，我们整体探究量化、模型缩放与多模态如何同内存、传感器及处理器等系统组件相互作用。我们从成本、延迟与用户体验视角进行此硬件/软件协同设计，并针对最受限成本平台制定了一套最优系统设计与模型部署准则。我们以基于 20 美元 ESP-EYE 板的端到端、设备端生物特征用户认证系统演示了我们的方法。
引用
@article{arxiv.2310.07940,
title = {Cost-Driven Hardware-Software Co-Optimization of Machine Learning Pipelines},
author = {Ravit Sharma and Wojciech Romaszkan and Feiqian Zhu and Puneet Gupta and Ankur Mehta},
journal= {arXiv preprint arXiv:2310.07940},
year = {2023}
}