$F_1$得分是否次优于网络安全模型？介绍基于成本的替代方案$C_{score}$用于模型评估
机器学习
2024-08-01 v2 人工智能
摘要
与机器学习分类器有关的错误成本，即假阳性和假阴性成本不相等且取决于具体应用。例如，在网络安全应用中，未检测到攻击的成本与将良性活动标记为攻击的成本截然不同。在机器学习模型构建中 various design choices(如超参数调优和模型选择)允许数据科学家在这两类错误之间进行权衡。然而，大多数用于评估模型质量的常用指标，如得分(以模型精度和召回率定义)，将这两种错误视为相等，使得用户难以针对这些错误的实际成本进行优化。在本文中，我们提出一种新的基于精度和召回率的成本感知指标，用于取代模型评估和选择中的得分。它包含一个成本比率，考虑到处理假阳性和假阴性成本的差异。我们推导并特征化了这一新的成本指标，并将其与得分进行比较。进一步，我们使用该指标对五个网络安全相关数据集进行模型阈值化，以多个成本比率进行测试。结果显示平均可实现49%的成本节省。
引用
@article{arxiv.2407.14664,
title = {Is $F_1$ Score Suboptimal for Cybersecurity Models? Introducing $C_{score}$, a Cost-Aware Alternative for Model Assessment},
author = {Manish Marwah and Asad Narayanan and Stephan Jou and Martin Arlitt and Maria Pospelova},
journal= {arXiv preprint arXiv:2407.14664},
year = {2024}
}