核分布鲁棒优化
最优化与控制
2021-06-28 v3 机器学习
机器学习
摘要
我们利用鲁棒优化理论与泛函分析的见解，提出了核分布鲁棒优化（Kernel DRO）。我们的方法使用再生核 Hilbert 空间（RKHS）来构造广泛的凸模糊集，这些模糊集可推广到基于积分概率度量和有限阶矩界的集合。这一视角统一了多种现有的鲁棒与随机优化方法。我们证明了一个推广矩问题经典对偶性的定理。借助该定理，我们将 DRO 中针对测度的最大化重新表述为搜索 RKHS 函数的对偶规划。利用通用 RKHS，该定理适用于广泛的损失函数类，突破了多项式损失和 Lipschitz 常数已知等常见限制。随后我们建立了 DRO 与带期望约束的随机优化之间的联系。最后，我们提出了基于批量凸求解器和随机函数梯度的实用算法，可应用于一般优化与机器学习任务。
引用
@article{arxiv.2006.06981,
title = {Kernel Distributionally Robust Optimization},
author = {Jia-Jie Zhu and Wittawat Jitkrittum and Moritz Diehl and Bernhard Schölkopf},
journal= {arXiv preprint arXiv:2006.06981},
year = {2021}
}