弹性 CoCoA：通过缩容提升收敛性
机器学习
2018-11-07 v1 人机交互
机器学习
摘要
本文通过实验分析了 CoCoA 的收敛行为，表明在训练过程中任意时刻达到最高收敛速率所需的 worker 数量会发生变化。基于该观察，我们构建了 Chicle，一种根据训练算法反馈动态调整 worker 数量的弹性框架，以选择能带来最高收敛速率的 worker 数量。在对 6 个数据集的评估中，我们表明与最佳静态设置相比，Chicle 能够将达到指定精度的时间加速至多 5.96 倍，同时具备足够的鲁棒性，在大多数情况下自动找到最优或近最优设置。
引用
@article{arxiv.1811.02322,
title = {Elastic CoCoA: Scaling In to Improve Convergence},
author = {Michael Kaufmann and Thomas Parnell and Kornilios Kourtis},
journal= {arXiv preprint arXiv:1811.02322},
year = {2018}
}