面向大数据回归的多重学习方法
机器学习
2019-10-08 v2 分布式、并行与集群计算
机器学习
摘要
具有闭式解的回归问题已被充分理解，并且在数据集足够小可全部载入 RAM 时能够轻松实现。当数据过大无法存入 RAM 以计算闭式解时，挑战随之出现。许多技术被提出以克服或缓解内存壁垒问题，但解往往是局部最优的。此外，大多数方法在更新模型时需要再次访问原始数据。若需同时计算多个模型，还期望使用并行计算集群。我们提出了利用一组充分统计量（SS）数组来应对这一大数据挑战的多重学习方法。这种对内存无感知的方法打破了计算具有闭式解的回归（包括但不限于线性回归、加权线性回归、带 Box-Cox 变换的线性回归（Box-Cox 回归）和岭回归模型）时的内存壁垒。SS 数组的计算与更新可在逐行或逐小批量级别处理。并且更新模型如同矩阵加减一般简单。此外，不同模型的多个 SS 数组可轻松同时计算，从而在一次遍历数据集时获得多个模型。我们在 Spark 上实现了我们的方法，并在模拟数据集上进行了评估。结果表明，我们的方法能以传统方法训练单个模型一半的时间代价获得多个模型的闭式解。
引用
@article{arxiv.1903.00843,
title = {Multiple Learning for Regression in big data},
author = {Xiang Liu and Ziyang Tang and Huyunting Huang and Tonglin Zhang and Baijian Yang},
journal= {arXiv preprint arXiv:1903.00843},
year = {2019}
}
备注
8 pages