瓦瑟斯坦分布鲁棒逻辑回归的一阶算法框架
最优化与控制
2019-10-29 v1 机器学习
机器学习
摘要
基于瓦瑟斯坦距离的分布鲁棒优化（DRO）近来备受关注，因为它能够对各种学习模型提供鲁棒性解释。此外，学习背景下出现的许多DRO问题允许精确的凸重构，因此可用现成求解器处理。然而，此类求解器的使用严重限制了DRO在大规模学习问题中的适用性，因为它们通常依赖通用内点算法。另一方面，试图开发快速迭代方法以求解这些通常具有复杂结构的DRO问题的工作极少。本文朝解决上述困难迈出第一步，通过开发一种一阶算法框架来处理一类基于瓦瑟斯坦距离的分布鲁棒逻辑回归（DRLR）问题。具体而言，我们提出一种新颖的线性化近端ADMM来求解DRLR问题，其目标函数为凸但由一个光滑项加两个不可分离的非光滑项组成。我们证明该方法具有次线性收敛速率。此外，我们进行了三组不同的实验，以展示其在合成和真实世界数据集上的卓越性能。特别地，我们的方法可达到与标准现成求解器相同的精度，且最高快800倍以上。
引用
@article{arxiv.1910.12778,
title = {A First-Order Algorithmic Framework for Wasserstein Distributionally Robust Logistic Regression},
author = {Jiajin Li and Sen Huang and Anthony Man-Cho So},
journal= {arXiv preprint arXiv:1910.12778},
year = {2019}
}