Willump：一种针对机器学习推理的统计感知端到端优化器
数据库
2020-03-06 v3 机器学习
摘要
用于 ML 推理的系统如今被广泛部署，但它们通常利用为传统数据服务负载设计的技术来优化 ML 推理负载，从而错失了利用 ML 统计特性的关键机会。在本文中，我们提出 Willump，一种面向 ML 推理的优化器，它引入了两种以统计为动机的优化，针对性能瓶颈为特征计算的 ML 应用。首先，Willump 自动对分类查询的特征计算进行级联：Willump 仅使用通过经验观察 ML 模型性能选出的高价值、低成本特征对大多数数据输入进行分类，将查询性能提升至多 5 倍而无统计显著的精度损失。其次，Willump 精确近似 ML top-K 查询，用自动构建的近似模型丢弃低分输入，然后用更强的模型对剩余输入排序，将查询性能提升至多 10 倍且精度损失极小。Willump 自动调整这些优化的参数，以在满足精度目标的同时最大化查询性能。此外，Willump 以编译器优化补充这些统计优化，自动为 ML 应用生成快速推理代码。我们表明，Willump 将来自主要数据科学竞赛的真实世界 ML 推理流水线的端到端性能提升至多 16 倍，而无统计显著的精度损失。
引用
@article{arxiv.1906.01974,
title = {Willump: A Statistically-Aware End-to-end Optimizer for Machine Learning Inference},
author = {Peter Kraft and Daniel Kang and Deepak Narayanan and Shoumik Palkar and Peter Bailis and Matei Zaharia},
journal= {arXiv preprint arXiv:1906.01974},
year = {2020}
}