ARM 设备上树集成模型的快速推断
机器学习
2023-05-16 v1
摘要
随着机器学习模型日益融入日常生活（例如以物联网（IoT）的形式），已学习模型的评估变得越来越重要。树集成是最好的黑盒分类器之一，并 routinely 超越更复杂的分类器。虽然树集成的快速应用已在文献中针对 Intel CPU 进行了研究，但在对 IoT 应用更占主导的 ARM CPU 背景下尚未被研究。在本文中，我们将流行的 QuickScorer 算法及其变体从 Intel 的 AVX 指令集转换到 ARM 的 NEON 指令集。其次，我们将实现从排序模型扩展到随机森林等分类模型。第三，我们研究了在随机森林中使用定点量化的效果。我们的研究表明，在 ARM CPU 上精心实现的树遍历相比参考实现可带来最高 9.4 倍的加速。此外，量化模型在速度方面似乎几乎在所有情况下都优于使用浮点值的模型，且对模型预测性能的影响可忽略。最后，我们的研究凸显了 ARM 与 Intel CPU 之间以及不同 ARM 设备之间的架构差异，这意味着最佳实现取决于具体的森林以及用于部署的具体设备。
引用
@article{arxiv.2305.08579,
title = {Fast Inference of Tree Ensembles on ARM Devices},
author = {Simon Koschel and Sebastian Buschjäger and Claudio Lucchese and Katharina Morik},
journal= {arXiv preprint arXiv:2305.08579},
year = {2023}
}
备注
12 pages, 2 figures, 4 algorithms