Imbalance-XGBoost：利用加权与焦点损失通过 XGBoost 处理二值标签不平衡分类
机器学习
2021-08-24 v2 机器学习
摘要
本文提出 Imbalance-XGBoost，一个将强大的 XGBoost 软件与加权损失和焦点损失（focal loss）相结合的 Python 包，用于应对二值标签不平衡分类任务。尽管该程序规模较小，但据作者所知，它是首个在 XGBoost 上提供这两种损失集成实现、并为标签不平衡场景带来通用扩展的同类工具。本文通过示例代码描述了该包的设计与用法，并展示了其便捷集成至 Python 驱动的机器学习项目中的能力。此外，由于损失函数的一阶与二阶导数是实现的关键，文中讨论了代数推导，这可视为一项独立的算法贡献。包中所实现算法的性能在帕金森病分类数据集上进行了实证评估，并观察到了多项最先进（SOTA）性能。鉴于 XGBoost 的可扩展特性，该包在通常大规模且标签不平衡的真实二值分类任务中具有巨大应用潜力。
引用
@article{arxiv.1908.01672,
title = {Imbalance-XGBoost: Leveraging Weighted and Focal Losses for Binary Label-Imbalanced Classification with XGBoost},
author = {Chen Wang and Chengyuan Deng and Suzhen Wang},
journal= {arXiv preprint arXiv:1908.01672},
year = {2021}
}
备注
Updated version, published in Pattern Recognition Letters 136(2020):190-197