MixMax：通过最优数据混合实现函数空间中的分布鲁棒性
机器学习
2025-02-27 v3 机器学习
摘要
机器学习模型通常需要在多个预定义设置（例如一组用户组）上表现良好。最差性能是衡量这一要求的常用指标，也是群体分布鲁棒优化（group DRO）的目标。不幸的是，当损失函数在参数上非凸或模型类非参数化时，这些方法难以奏效。本文采用经典方法解决这一问题：将群体分布鲁棒优化从参数空间重新参数化到函数空间，这带来了若干优势。首先，我们证明在有界函数空间上的群体分布鲁棒优化满足极小极大定理。其次，对于交叉熵和均方误差，我们证明极小极大最优混合分布是一个简单凸优化问题的解。因此，只要使用通用函数逼近器模型类，群体分布鲁棒优化可以通过一个凸优化问题后接一个经典风险最小化问题来解决。我们称我们的方法为MixMax。在我们的实验中，我们发现MixMax匹配或超越了标准群体分布鲁棒优化基线，特别是对于ACSIncome和CelebA注释数据集的变体，MixMax改进了XGBoost相对于唯一基线（数据平衡）的性能。
引用
@article{arxiv.2406.01477,
title = {MixMax: Distributional Robustness in Function Space via Optimal Data Mixtures},
author = {Anvith Thudi and Chris J. Maddison},
journal= {arXiv preprint arXiv:2406.01477},
year = {2025}
}
备注
Proceedings of the 13th International Conference on Learning Representations