面向统一机器学习预测服务的张量编译器
机器学习
2020-10-20 v3
摘要
企业在采用机器学习（ML）时需要更简单高效的软件基础设施——大型网络公司中典型的定制方案根本难以为继。模型打分，即从训练好的模型对新数据获取预测的过程，是基础设施复杂性与成本的主要来源，因为模型只训练一次却要被使用多次。本文中我们提出 HUMMINGBIRD，一种新颖的模型打分方法，它将特征化算子和传统 ML 模型（如决策树）编译为一小套张量操作。该方法从本质上降低了基础设施复杂性，并直接利用在神经网络编译器和运行时上的现有投入，为 CPU 和硬件加速器生成高效计算。我们的性能结果引人注目：尽管用张量计算抽象替代了命令式计算（如树遍历），HUMMINGBIRD 在 CPU 和 GPU 的微基准测试上与手工编写的内核相比具有竞争力且常常更优，同时实现了 ML 流水线的无缝端到端加速。我们已将 HUMMINGBIRD 开源。
引用
@article{arxiv.2010.04804,
title = {A Tensor Compiler for Unified Machine Learning Prediction Serving},
author = {Supun Nakandala and Karla Saur and Gyeong-In Yu and Konstantinos Karanasos and Carlo Curino and Markus Weimer and Matteo Interlandi},
journal= {arXiv preprint arXiv:2010.04804},
year = {2020}
}