基于GBM的Bregman近邻算法用于约束学习
机器学习
2023-08-22 v1
摘要
随着学习任务复杂性的激增，现代机器学习遇到了一种以更复杂且数据驱动的函数约束为特征的新型约束学习范式。突出应用包括Neyman-Pearson分类(NPC)与公平性分类，其涉及特定的风险约束，使得标准的基于投影的训练算法不再适用。梯度提升机(GBMs)是监督学习中最受欢迎的算法之一；然而，它们通常局限于无约束设定。在本文中，我们在Bregman近邻算法框架下使GBM适应约束学习任务。我们引入了一种新的Bregman原始对偶方法，当学习目标与约束函数为凸时具有全局最优性保证。在非凸函数情形下，我们展示了我们的算法在Bregman邻近点框架下如何保持有效。与现有约束学习算法不同，我们的算法具有独特优势，能够无缝集成公开的GBM实现如XGBoost (Chen and Guestrin, 2016)与LightGBM (Ke et al., 2017)，且仅依赖其公共接口。我们提供了大量实验证据以展示Bregman算法框架的有效性。虽然我们的主要关注点是NPC与公平ML，我们的框架对更广泛的约束学习应用具有重要潜力。源代码当前可自由获取于https://github.com/zhenweilin/ConstrainedGBM。
引用
@article{arxiv.2308.10767,
title = {GBM-based Bregman Proximal Algorithms for Constrained Learning},
author = {Zhenwei Lin and Qi Deng},
journal= {arXiv preprint arXiv:2308.10767},
year = {2023}
}