一种用于混合线性回归的Wasserstein极小极大框架
机器学习
2021-06-17 v2 机器学习
最优化与控制
摘要
多模态分布常用于统计学习任务中对聚类数据建模。在本文中，我们考虑混合线性回归（MLR）问题。我们提出一种基于最优传输的MLR问题框架，Wasserstein混合线性回归（WMLR），其最小化所学混合回归模型与目标混合回归模型之间的Wasserstein距离。通过基于模型的对偶性分析，WMLR将底层MLR任务归约为一个非凸-凹极小极大优化问题，该问题可被证明通过梯度下降上升（GDA）算法求解以找到极小极大驻点。在两个线性回归模型混合的特殊情况下，我们证明WMLR具有全局收敛性和泛化保证。我们证明WMLR的样本复杂度随数据维度线性增长。最后，我们讨论WMLR在联邦学习任务中的应用，其中训练样本由网络中多个智能体收集。与期望最大化算法不同，WMLR可直接扩展到分布式联邦学习设置。我们通过若干数值实验支撑理论结果，突出了我们的框架处理带混合模型的联邦学习设置的能力。
引用
@article{arxiv.2106.07537,
title = {A Wasserstein Minimax Framework for Mixed Linear Regression},
author = {Theo Diamandis and Yonina C. Eldar and Alireza Fallah and Farzan Farnia and Asuman Ozdaglar},
journal= {arXiv preprint arXiv:2106.07537},
year = {2021}
}
备注
To appear in 38th International Conference on Machine Learning (ICML 2021)