用于以迹范数学习低秩矩阵的分布式 Frank-Wolfe 框架
分布式、并行与集群计算
2018-05-15 v2 机器学习
机器学习
摘要
我们考虑从分布在多台机器上的大规模数据集中学习一个高维但低秩矩阵的问题，其中低秩性由凸迹范数约束强制实现。我们提出 DFW-Trace，一种分布式 Frank-Wolfe 算法，它利用其更新的低秩结构在时间、内存和通信使用上实现高效。DFW-Trace 核心处的步骤使用分布式幂方法近似求解。我们提供了 DFW-Trace 收敛性的理论分析，表明我们可以保证以每个周期少量幂迭代在期望下次线性收敛到最优解。我们在 Apache Spark 分布式编程框架中实现 DFW-Trace，并在合成与真实数据上验证我们方法的有用性，包括具有从深度神经网络提取的高维特征的 ImageNet 数据集。
引用
@article{arxiv.1712.07495,
title = {A Distributed Frank-Wolfe Framework for Learning Low-Rank Matrices with the Trace Norm},
author = {Wenjie Zheng and Aurélien Bellet and Patrick Gallinari},
journal= {arXiv preprint arXiv:1712.07495},
year = {2018}
}