AGBoost：基于注意力的梯度提升机改进模型
机器学习
2022-07-13 v1 机器学习
摘要
针对回归问题，提出了一种用于梯度提升机（GBM）的基于注意力的新模型 AGBoost（基于注意力的梯度提升）。所提 AGBoost 模型的主要思想是在决策树作为 GBM 基学习器的条件下，为 GBM 的每次迭代分配带有可训练参数的注意力权重。注意力权重通过应用决策树的性质以及 Huber 污染模型来确定，该模型提供了注意力可训练参数与注意力权重之间有趣的线性依赖关系。这一特性使我们能够通过求解带线性约束的标准二次优化问题来训练注意力权重。注意力权重还依赖于作为调谐参数的折扣因子，其决定了权重的影响随迭代次数增加而衰减的程度。使用两类基学习器（原始决策树与极度随机树）在各种回归数据集上进行的数值实验说明了所提模型的有效性。
引用
@article{arxiv.2207.05724,
title = {AGBoost: Attention-based Modification of Gradient Boosting Machine},
author = {Andrei Konstantinov and Lev Utkin and Stanislav Kirpichenko},
journal= {arXiv preprint arXiv:2207.05724},
year = {2022}
}
备注
Proceedings of the 31st Conference of Open Innovations Association (FRUCT), 2022