机器学习竞赛中利用报告AUC分数的预言机
机器学习
2015-11-16 v2
摘要
在诸如 ImageNet 大规模视觉识别挑战赛（ImageNet Large Scale Visual Recognition Challenge）和 KDD Cup 的机器学习竞赛中，参赛者可以提交候选解，并从预言机（通常是竞赛组织者）处获得其猜测与真实标签相比的准确度。二分类任务最常用的准确度指标之一是受试者工作特征曲线下面积（AUC）。本文中，我们提供了概念验证，说明如何利用一组猜测的 AUC 知识，通过两种不同类型的攻击来提高那些猜测的准确度。另一方面，我们也通过证明对于每一个 ，候选解获得 AUC 分数 的 个样本的可能二值标注数量随 指数增长，来展示一种 AUC 利用的难处理性。
引用
@article{arxiv.1506.01339,
title = {Exploiting an Oracle that Reports AUC Scores in Machine Learning Contests},
author = {Jacob Whitehill},
journal= {arXiv preprint arXiv:1506.01339},
year = {2015}
}