TRBoost：一种基于信赖域方法的通用梯度提升机
机器学习
2023-04-12 v4
摘要
梯度提升机（GBMs）通过利用函数空间中的泰勒展开，在解决各类问题上取得了显著成功。然而，在性能与通用性之间取得平衡一直是 GBMs 面临的挑战。具体而言，基于梯度下降的 GBMs 采用一阶泰勒展开以确保对所有损失函数的适用性，而基于牛顿法的 GBMs 利用正定的 Hessian 信息以牺牲通用性为代价获得更优性能。为解决此问题，本研究提出一种称为信赖域提升（Trust-region Boosting，TRBoost）的新的通用梯度提升机。在每次迭代中，TRBoost 使用约束二次模型逼近目标，并应用信赖域（Trust-region）算法求解以获得新的学习器。与基于牛顿法的 GBMs 不同，TRBoost 不要求 Hessian 正定，从而可应用于任意损失函数，同时保持与二阶算法相当的竞争性能。本研究的收敛性分析与数值实验证实，TRBoost 与一阶 GBMs 同样通用，且与二阶 GBMs 相比产生有竞争力的结果。总体而言，TRBoost 是一种平衡性能与通用性的有前景的方法，是机器学习从业者工具箱中的宝贵补充。
引用
@article{arxiv.2209.13791,
title = {TRBoost: A Generic Gradient Boosting Machine based on Trust-region Method},
author = {Jiaqi Luo and Zihao Wei and Junkai Man and Shixin Xu},
journal= {arXiv preprint arXiv:2209.13791},
year = {2023}
}