具有非可微约束的优化及其在公平性、召回率、客户流失及其他目标中的应用
机器学习
2018-09-13 v1 人工智能
计算机科学与博弈论
最优化与控制
机器学习
摘要
我们表明，许多机器学习目标（例如改进的公平性度量）可以表示为对模型预测的限制，我们称之为比率约束（rate constraints）。我们研究在这些比率约束（或任何非凸且非可微的约束）下训练非凸模型的问题。在非凸设定中，拉格朗日乘子的标准方法可能失效。此外，若约束不可微，则无法用基于梯度的方法优化拉格朗日量。为解决这些问题，我们引入代理拉格朗日（proxy-Lagrangian）形式。这一新形式产生了一种算法，该算法通过求解一个两人非零和博弈来产生一个随机分类器，该博弈求解我们称之为半粗相关均衡（semi-coarse correlated equilibrium）的解，而这对应于约束优化问题的一个近似最优且可行的解。然后我们给出一种过程，在给定 个约束的情况下，将随机化解缩减为至多 个确定性解的混合。这最终产生了能够在理论保证下求解具有可能不可微且非凸约束的非凸约束优化问题的算法。我们提供了广泛的实验结果，强制执行包括不同公平性度量以及关于准确率、覆盖率、召回率和客户流失的其他目标在内的一系列策略目标。
引用
@article{arxiv.1809.04198,
title = {Optimization with Non-Differentiable Constraints with Applications to Fairness, Recall, Churn, and Other Goals},
author = {Andrew Cotter and Heinrich Jiang and Serena Wang and Taman Narayan and Maya Gupta and Seungil You and Karthik Sridharan},
journal= {arXiv preprint arXiv:1809.04198},
year = {2018}
}