针对一般代价函数的统计自适应学习（SA L-BFGS）
机器学习
2012-09-07 v3 机器学习
摘要
我们提出了一种系统，能够支持具有数万亿非零特征、数十亿训练样本和数百万参数的 TB 级机器学习的快速模型实验。我们对文献的贡献是一种新方法（SA L-BFGS），通过使用统计工具来平衡先前权重、旧训练样本和新训练样本的贡献，以实现快速收敛和极少的迭代次数，从而将批量 L-BFGS 改造为近实时执行。据我们所知，其结果是文献中报道的最具可扩展性和灵活性的线性学习系统，超越了当前最佳系统（Vowpal Wabbit 和 AllReduce）的标准实践。我们使用腾讯公司的 KDD Cup 2012 数据集提供了实验结果，以验证该方法的性能。
引用
@article{arxiv.1209.0029,
title = {Statistically adaptive learning for a general class of cost functions (SA L-BFGS)},
author = {Stephen Purpura and Dustin Hillard and Mark Hubenthal and Jim Walsh and Scott Golder and Scott Smith},
journal= {arXiv preprint arXiv:1209.0029},
year = {2012}
}
备注
7 pages, 2 tables