面向 GBDT 的通信高效加权采样与分位数概要
数据结构与算法
2019-09-18 v1 机器学习
摘要
梯度提升决策树(gradient boosting decision tree, GBDT)是一种强大且被广泛使用的机器学习模型,在许多学术领域和生产环境中取得了最先进的性能。然而,通信开销是分布式训练中的主要瓶颈,而分布式训练可处理当今的海量数据。本文提出两种基于分布式数据集的通信高效新方法来缓解该问题:一种加权采样方法,借此可在一小部分子集上高效估计信息增益;以及用于近似树学习中加权分位数问题的分布式协议。
引用
@article{arxiv.1909.07633,
title = {Communication-Efficient Weighted Sampling and Quantile Summary for GBDT},
author = {Ziyue Huang and Ke Yi},
journal= {arXiv preprint arXiv:1909.07633},
year = {2019}
}