rule4ml：用于 FPGA 上 ML 模型资源利用与延迟估计的开源工具
机器学习
2024-08-13 v1 人工智能
硬件体系结构
摘要
在 Field-Programmable Gate Arrays (FPGA) 上实现机器学习 (ML) 模型正变得越来越流行，这在 various 领域中作为低延迟和低功耗解决方案，帮助管理由不断提高感应器产生的大数据率。然而，开发 FPGA 用的 ML 模型耗时较长，因为优化需要综合来评估 FPGA 面积和延迟，使过程缓慢且重复。本文引入一种新方法，用于预测神经网络 (NN) 在 FPGA 上的资源利用和推理延迟。我们利用 HLS4ML 工具链帮助将 NN 转换为高级综合 (HLS) 代码，以合成多样化的 NN 架构并训练资源利用和推理延迟预测器。虽然 HLS4ML 需要完全综合才能获取资源和延迟见解，但我们的 метод使用经过训练的回归模型进行快速预综合预测。预测模型估计 Block RAM (BRAM)、Digital Signal Processors (DSP)、Flip-Flops (FF) 和 Look-Up Tables (LUT) 的使用情况，以及推理时钟周期。对预测器在合成和现有基准架构上的评估显示，在验证集上 R2 分数范围为 0.8 到 0.98，sMAPE 值范围为 10% 到 30%。总体而言，我们的方法提供了有价值的初步见解，使用户能够快速评估 NN 在 FPGA 上的可行性和效率，从而加快开发和部署过程。开源仓库可在 https://github.com/IMPETUS-UdeS/rule4ml 找到，数据集可在 https://borealisdata.ca/dataverse/rule4ml 公开获取。
引用
@article{arxiv.2408.05314,
title = {rule4ml: An Open-Source Tool for Resource Utilization and Latency Estimation for ML Models on FPGA},
author = {Mohammad Mehdi Rahimifar and Hamza Ezzaoui Rahali and Audrey C. Therrien},
journal= {arXiv preprint arXiv:2408.05314},
year = {2024}
}