ML-EXray：边缘端机器学习部署的可视化洞察
分布式、并行与集群计算
2022-01-19 v1 人工智能
机器学习
摘要
受益于不断扩展的云基础设施，如今深度神经网络（DNNs）在云端训练时具有越来越高的性能。研究人员花费数月精力以争取模型精度额外几个百分点的提升。然而，当这些模型在实际中部署到边缘设备时，性能常常在无明确原因的情况下骤降超过 10%。关键挑战在于对边缘设备上的 ML 推理执行缺乏可见性，且对边缘部署过程中的潜在问题知之甚少。我们提出 ML-EXray，一个端到端框架，可提供 ML 执行在层级别细节的可见性，并帮助开发者分析和调试云到边缘的部署问题。通常情况下，边缘性能不佳的原因不仅在于模型本身，还在于整个数据流和部署过程中的每一次操作。评估表明，ML-EXray 能有效捕获部署问题，如预处理错误、量化问题、次优内核等。使用 ML-EXray，用户只需编写少于 15 行代码即可全面检查边缘部署流水线。消除这些问题后，ML-EXray 可将模型性能纠正达 30%，精确定位易出错层，并引导用户将内核执行延迟优化两个数量级。代码和 API 将作为开源多语言插桩库和 Python 部署验证库发布。
引用
@article{arxiv.2111.04779,
title = {ML-EXray: Visibility into ML Deployment on the Edge},
author = {Hang Qiu and Ioanna Vavelidou and Jian Li and Evgenya Pergament and Pete Warden and Sandeep Chinchali and Zain Asgar and Sachin Katti},
journal= {arXiv preprint arXiv:2111.04779},
year = {2022}
}