基于快速上图投影的增量算法求解 Wasserstein 分布鲁棒支持向量机
最优化与控制
2020-10-27 v1 机器学习
机器学习
摘要
Wasserstein 分布鲁棒优化（Distributionally Robust Optimization, DRO）致力于寻找在位于以某一名义分布为中心、给定半径的 Wasserstein 球内的最坏情形概率分布所抽取的数据上表现良好的决策。近年来，已有研究表明多种学习模型的 DRO 表述可转化为易处理的凸重构形式。然而，现有工作多提议使用通用求解器求解这些凸重构问题，并不适于处理大规模问题。本文关注一类 Wasserstein 分布鲁棒支持向量机（DRSVM）问题，并提出两种新颖的基于上图投影的增量算法予以求解。这些算法每次迭代的更新均可高效计算。此外，我们证明了本文所考虑的 DRSVM 问题满足具有显式确定增长指数的 Hölder 增长条件。据此，我们得以建立所提增量算法的收敛速率。数值结果表明，所提方法比当前最优方法快数个数量级，且随着问题规模增大，性能差距显著扩大。
引用
@article{arxiv.2010.12865,
title = {Fast Epigraphical Projection-based Incremental Algorithms for Wasserstein Distributionally Robust Support Vector Machine},
author = {Jiajin Li and Caihua Chen and Anthony Man-Cho So},
journal= {arXiv preprint arXiv:2010.12865},
year = {2020}
}
备注
Accepted by NeurIPS 2020