BlinkML：具有概率保证的高效最大似然估计
机器学习
2018-12-31 v1 数据库
机器学习
摘要
不断增长的数据量使得训练机器学习（ML）模型成为企业中的主要计算成本。鉴于模型与参数调优的迭代性质，许多分析师在分析的初始阶段使用整个数据的一小部分样本以做出快速决策（例如，使用哪些特征或超参数），而仅在后期阶段（即当他们已收敛至特定模型时）使用完整数据集。然而，这种采样是以临时方式进行的。大多数从业者无法精确评估采样对其模型质量的影响，并最终影响其在调优阶段的决策过程。此外，由于缺乏对采样算子的系统性支持，许多优化和重用机会被错失。在本文中，我们介绍了 BlinkML，一个用于快速、质量有保证的 ML 训练系统。BlinkML 允许用户进行误差与计算的权衡：与其在完整数据上训练模型（即完整模型），BlinkML 可以使用样本快速训练一个带有质量保证的近似模型。该质量保证确保，以高概率，近似模型做出与完整模型相同的预测。BlinkML 目前支持任何依赖最大似然估计（MLE）的 ML 模型，包括广义线性模型（如线性回归、逻辑回归、最大熵分类器、泊松回归）以及 PPCA（概率主成分分析）。我们的实验表明，BlinkML 可以将大规模 ML 任务的训练加速 6.26 倍至 629 倍，同时以 95% 的概率保证其预测与完整模型相同。
引用
@article{arxiv.1812.10564,
title = {BlinkML: Efficient Maximum Likelihood Estimation with Probabilistic Guarantees},
author = {Yongjoo Park and Jingyi Qing and Xiaoyang Shen and Barzan Mozafari},
journal= {arXiv preprint arXiv:1812.10564},
year = {2018}
}
备注
22 pages, SIGMOD 2019