平衡方法对不平衡分类问题中模型行为的影响
机器学习
2024-06-18 v1 机器学习
摘要
不平衡数据在分类中构成重大挑战，因为模型性能受到来自少数类学习不足的影響。平衡方法常被用于解决此问题。然而，此类技术可能导致过拟合或信息丢失等问题。本研究探讨平衡方法中更具挑战性的一个方面——其对模型行为的影响。为捕捉这些变化，我们使用可解释人工智能工具来比较在平衡前后数据集上训练的模型。除变量重要性方法外，本研究还使用了部分依赖轮廓与累积局部效应技术。我们测试了真实与模拟数据集，并开发了开源Python包edgaro以促进该分析。所得结果显示平衡方法导致模型行为发生显著变化，可能使模型偏向平衡分布。这些发现证实，平衡分析应超越模型性能比较，以实现机器学习模型更高的可靠性。因此，我们提出了一种新的方法性能增益图，用于知情的数据平衡策略，通过分析模型行为变化度量与性能增益来最优选择平衡方法。
引用
@article{arxiv.2307.00157,
title = {The Effect of Balancing Methods on Model Behavior in Imbalanced Classification Problems},
author = {Adrian Stando and Mustafa Cavus and Przemysław Biecek},
journal= {arXiv preprint arXiv:2307.00157},
year = {2024}
}