输入质量决定输出质量：在 UGR'16 异常检测中数据质量比模型选择更关键
机器学习
2024-12-06 v2
摘要
自治网络或自动驾驶网络有望以最少的人工监督，为大量极高要求的新应用提供解决方案。为此，学界依赖于新的机器学习（ML）模型与技术的发展。然而，ML 的性能仅取决于其所拟合的数据，而数据质量是一个难以评估的模糊概念。本文中，我们表明对基准数据集（UGR'16，一个基于流的真实流量异常检测数据集）相对微小的修改，对模型性能的影响远大于所考虑的具体 ML 技术。我们还表明，由于标注不准确，测得的模型性能是不确定的。我们的发现说明，若在未充分理解数据集偏差与敏感性的情况下，仅以性能结果（如准确率或 ROC 曲线）比较一组模型的普遍做法，可能导致错误结论。我们提出了一种解释模型响应的方法论，有助于此种理解。
引用
@article{arxiv.2305.19770,
title = {Quality In / Quality Out: Data quality more relevant than model choice in anomaly detection with the UGR'16},
author = {José Camacho and Katarzyna Wasielewska and Pablo Espinosa and Marta Fuentes-García},
journal= {arXiv preprint arXiv:2305.19770},
year = {2024}
}