面向 FPGA 上在线决策树学习的高效可扩展加速
机器学习
2020-09-04 v1 分布式、并行与集群计算
摘要
决策树是各种应用场景中常用的机器学习模型。在大数据时代，传统的决策树归纳算法由于严格的数据存储需求而不适用于学习大规模数据集。在线决策树学习算法已被设计出来，通过随到达样本并发训练并提供推断结果来解决此问题。然而，即便是最新的在线树学习算法仍受制于高内存占用或高计算强度伴随依赖与长延迟，难以在硬件中实现。为克服这些困难，我们引入一种基于分位数的新算法来改进 Hoeffding 树（最先进的在线学习模型之一）的归纳。所提算法在内存和计算需求上均轻量，同时仍保持高泛化能力。我们从硬件角度研究了一系列针对该算法的优化技术，包括粗粒度与细粒度并行、动态与基于内存的资源共享、带数据转发的交流水线化。我们进一步在现场可编程门阵列（FPGA）上借助系统级优化技术，提出了一种高性能、硬件高效且可扩展的在线决策树学习系统。实验结果表明，我们提出的算法优于最先进的 Hoeffding 树学习方法，推断准确率提升 0.05% 至 12.3%。该完整学习系统在 FPGA 上的实际实现相对于最先进设计在执行时间上实现了 384 倍至 1581 倍的加速。
引用
@article{arxiv.2009.01431,
title = {Towards Efficient and Scalable Acceleration of Online Decision Tree Learning on FPGA},
author = {Zhe Lin and Sharad Sinha and Wei Zhang},
journal= {arXiv preprint arXiv:2009.01431},
year = {2020}
}
备注
appear as a conference paper in FCCM 2019