基于累积样本策略的大规模经验风险最小化高效分布式无Hessian算法
机器学习
2020-03-11 v2 机器学习
摘要
本文提出一种分布式累积牛顿共轭梯度(DANCE)方法，其中样本量逐步增加，以快速获得经验损失满足统计精度要求的解。我们所提方法为多阶段方法，其中某一阶段的解作为下一阶段的预热启动，该阶段包含更多样本（包括前一阶段中的样本）。所提多阶段算法减少了遍历数据的轮数，从而达到全训练集的统计精度。此外，我们的算法本质上易于分布式，并具有强扩展特性，表明通过使用更多计算节点总能获得加速。在凸设定下，分析了关于下降方向计算、通信效率与停止准则的多种迭代复杂度结果。数值结果表明，所提方法在求解包括神经网络在内的学习问题时优于其他可比方法。
引用
@article{arxiv.1810.11507,
title = {Efficient Distributed Hessian Free Algorithm for Large-scale Empirical Risk Minimization via Accumulating Sample Strategy},
author = {Majid Jahani and Xi He and Chenxin Ma and Aryan Mokhtari and Dheevatsa Mudigere and Alejandro Ribeiro and Martin Takáč},
journal= {arXiv preprint arXiv:1810.11507},
year = {2020}
}
备注
Updated numerical results