前推约束的非凸性及其在机器学习中的后果
机器学习
2025-05-19 v2 机器学习
概率论
摘要
前推（push-forward）运算使得通过确定性映射重新分布概率测度成为可能。它在统计学和优化中起着关键作用：许多学习问题（特别是来自最优传输、生成建模和算法公平性领域的问题）包含被构建为模型上前推条件的约束或惩罚项。然而，文献中缺乏关于此类约束的（非）凸性及其对相关学习问题后果的一般性理论见解。本文旨在填补这一空白。在第一部分，我们提供了两组函数（非）凸性的充分和必要条件：将一种概率测度传输到另一种概率测度的映射，以及在不同概率测度下诱导相同输出分布的映射。这凸显了对于大多数概率测度而言，这些前推约束并非凸的。在第二部分，我们展示了这一结果如何意味着为学习生成模型或组间公平预测器设计凸优化问题时存在关键局限性。希望这项工作能帮助研究人员和从业者更好地理解前推条件对凸性的关键影响。
引用
@article{arxiv.2403.07471,
title = {On the Nonconvexity of Push-Forward Constraints and Its Consequences in Machine Learning},
author = {Lucas de Lara and Mathis Deronzier and Alberto González-Sanz and Virgile Foy},
journal= {arXiv preprint arXiv:2403.07471},
year = {2025}
}