凸优化问题邻近法中的通信避免
分布式、并行与集群计算
2017-10-25 v1 机器学习
数值分析
最优化与控制
摘要
快速迭代软阈值算法（FISTA）被用于求解机器学习中的凸正则化优化问题。该算法的分布式实现因能分析大型数据集而变得流行。然而，现有 FISTA 公式在每次迭代中均进行数据通信，这降低了其在现代分布式架构上的性能。FISTA 的通信成本（包括带宽与延迟成本）与算法的数学公式密切相关。本文重构了 FISTA，使其每 k 次迭代才通信数据，从而在处理大型数据集时减少数据通信。我们针对 Lasso 问题给出了两种不同优化方法的算法公式，表明延迟成本降低了 k 倍，而带宽与浮点运算成本保持不变。重构算法的收敛速度与稳定性特征与标准公式相似。我们在 1 至 1024 个节点上对多个基准测试评估了避免通信的 FISTA 与邻近牛顿法（Proximal Newton）的性能，显示出平均 3-10 倍的加速，且其扩展特性优于经典算法。
引用
@article{arxiv.1710.08883,
title = {Avoiding Communication in Proximal Methods for Convex Optimization Problems},
author = {Saeed Soori and Aditya Devarakonda and James Demmel and Mert Gurbuzbalaban and Maryam Mehri Dehnavi},
journal= {arXiv preprint arXiv:1710.08883},
year = {2017}
}