基于 Wasserstein 分布鲁棒优化的泛化与正则化研究
机器学习
2024-12-23 v2 最优化与控制
摘要
Wasserstein 分布鲁棒优化（DRO）因能求得具有良好样本外性能的解，而在运筹学与机器学习中日益重要。对其成功的两项有力解释来自 Wasserstein DRO 导出的泛化界，以及其与机器学习常用正则化方案的等价性。然而，现有关于泛化界与正则化等价性的结果大多局限于特定类型的 Wasserstein 球、且决策准则取某些期望函数形式的情况。本文中，我们证明泛化界与正则化等价性可在远更宽泛的设置下获得：其中 Wasserstein 球为一般类型，决策准则可容纳任意形式，包括一般风险度量。这不仅涵盖了重要的机器学习与运营管理应用，还扩展至此前 Wasserstein DRO 未触及的一般决策理论框架。我们的结果具有强力保证：泛化界不受维数灾难影响，且与正则化的等价性为精确等价。作为副产品，我们证明在仿射决策规则下，对任意决策准则，Wasserstein DRO 与近期的 max-sliced Wasserstein DRO 一致——通过我们的通用正则化结果，二者均可作为凸规划高效求解。这些通用保证为在数据驱动决策问题的广泛领域中扩展 Wasserstein DRO 应用提供了坚实基础。
引用
@article{arxiv.2212.05716,
title = {On Generalization and Regularization via Wasserstein Distributionally Robust Optimization},
author = {Qinyu Wu and Jonathan Yu-Meng Li and Tiantian Mao},
journal= {arXiv preprint arXiv:2212.05716},
year = {2024}
}