无参考标签下的聚类与分类器评估框架
机器学习
2021-09-24 v1 密码学与安全
摘要
在某些问题领域中，获取真实标签的高成本使得必须使用质量较低的参考数据集。利用这些数据集对模型性能进行基准测试十分困难，因为评估结果可能存在偏差。我们提出一种对参考标签使用的补充方法，称为近似真实标签精化（AGTR）。利用 AGTR，我们证明可在无参考标签的情况下计算出用于评估聚类算法和多类分类器的特定指标的界。我们还引入了一种利用 AGTR 识别由可疑质量数据集产生的不准确评估结果的流程。创建 AGTR 需要领域知识，而恶意软件家族分类正是一项具有稳健领域知识方法、可支持构建 AGTR 的任务。我们将 AGTR 评估框架应用于一种流行的恶意软件标注工具，以诊断先前测试中的过拟合，并评估在以往数据下无法有意义量化其影响的变化。
引用
@article{arxiv.2109.11126,
title = {A Framework for Cluster and Classifier Evaluation in the Absence of Reference Labels},
author = {Robert J. Joyce and Edward Raff and Charles Nicholas},
journal= {arXiv preprint arXiv:2109.11126},
year = {2021}
}
备注
to appear in Proceedings of the 14th ACM Workshop on Artificial Intelligence and Security