大规模GBDT系统的实验评估
机器学习
2019-08-06 v2 数据库
机器学习
摘要
梯度提升决策树（GBDT）是数据分析竞赛和真实工业应用中广泛使用的机器学习算法。此外，受数据量快速增长的驱动，人们已做出努力在分布式环境下训练GBDT以支撑大规模工作负载。然而，我们惊讶地发现现有系统以不同方式管理训练数据集，却无一研究数据管理的影响。为此，本文旨在研究不同数据管理方法对分布式GBDT性能的利弊。我们首先基于数据划分与数据存储提出数据管理策略的象限分类。随后我们进行深入的系统分析并总结各象限的优势场景。基于该分析，我们进一步提出一种名为Vero的新型分布式GBDT系统，其采用未被探索的纵向划分与行存储组合，适用于许多大规模场景。为从经验上验证我们的分析，我们在同一代码库中实现了不同象限并在广泛工作负载下进行比较，最后在多种数据集上将Vero与其他最先进系统进行对比。我们的理论与实验结果为指导给定工作负载选择合适的数据管理策略提供了依据。
引用
@article{arxiv.1907.01882,
title = {An Experimental Evaluation of Large Scale GBDT Systems},
author = {Fangcheng Fu and Jiawei Jiang and Yingxia Shao and Bin Cui},
journal= {arXiv preprint arXiv:1907.01882},
year = {2019}
}
备注
Technical Report for paper to appear in VLDB 2019