大规模不平衡与含噪数据中机器学习分类器评估指标行为的实证研究
机器学习
2022-08-26 v1 密码学与安全
摘要
随着信用卡交易量的增长，欺诈比例也在上升，包括机构用于打击和补偿受害者的间接成本。机器学习在金融领域的应用允许更有效地防范欺诈和其他经济犯罪。经过适当训练的机器学习分类器有助于主动欺诈检测，提升利益相关者的信任度以及对非法交易的鲁棒性。然而，由于欺诈数据极度不平衡的本质，以及准确且完整地识别欺诈以创建黄金标准真值所面临的挑战，基于机器学习的欺诈检测算法设计一直具有挑战性且进展缓慢。此外，尚无基准或标准分类器评估指标来度量和识别性能更优的分类器，从而使研究者茫然无措。在这项工作中，我们建立了理论框架来建模真实世界欺诈检测数据集中典型的人类标注错误与极端不平衡。通过在近似于热门真实世界信用卡欺诈数据集的合成数据分布上，对假设分类器进行实证实验，我们模拟人类标注错误与极端不平衡，以观察流行机器学习分类器评估矩阵的行为。我们证明，按该特定顺序组合的 F1 分数与 g-mean 是典型不平衡欺诈检测模型分类的最佳评估指标。
引用
@article{arxiv.2208.11904,
title = {Empirical study of Machine Learning Classifier Evaluation Metrics behavior in Massively Imbalanced and Noisy data},
author = {Gayan K. Kulatilleke and Sugandika Samarakoon},
journal= {arXiv preprint arXiv:2208.11904},
year = {2022}
}