TreeLUT：基于梯度提升决策树实现推理加速的高效替代方案
机器学习
2025-01-06 v1 硬件体系结构
摘要
加速机器学习推理是近年来活跃的研究领域。在此背景下，现场可编程门阵列（FPGA）通过提供深度神经网络（DNN）的大规模并行性，展现了引人注目的性能。神经网络（NN）在推理期间计算密集型，因其需要大量乘法和加法运算，使得其实现成本高昂。近期大量研究尝试通过稀疏化、量化以及将神经元或子网络转换为查找表（LUT）等方式来解决此挑战。梯度提升决策树（GBDT）是广泛用于回归和分类任务中，尤其是针对表格数据集的高精度 DNN 的替代方案。GBDT 的基本构建模块是决策树，其结构类似于二进制决策图。FPGA 设计流程在实现此类结构方面经过高度优化。除了决策树之外，GBDT 在推理期间执行简单运算，包括比较和加法。我们提出 TreeLUT 作为一种开源工具，用于通过高效量化方案、硬件架构和流水线策略实现 GBDT。它主要利用不含 BRAM 或 DSP 的 LUT，实现高效能。我们通过多个分类数据集展示了 TreeLUT 的有效性，这些数据集常用于评估超低面积和延迟架构。使用这些基准，我们将实现结果与现有 DNN 和 GBDT 方法（如 DWN、PolyLUT-Add、NeuraLUT、LogicNets、FINN、hls4ml 等）进行比较。我们的結果显示，TreeLUT 在硬件利用率、延迟和吞吐量方面显著优于前述工作，同时保持竞争的精度。
引用
@article{arxiv.2501.01511,
title = {TreeLUT: An Efficient Alternative to Deep Neural Networks for Inference Acceleration Using Gradient Boosted Decision Trees},
author = {Alireza Khataei and Kia Bazargan},
journal= {arXiv preprint arXiv:2501.01511},
year = {2025}
}
备注
Accepted by FPGA'25 conference