利用对数损失预言机攀登 Kaggle 排行榜
机器学习
2017-07-07 v1
摘要
在数据挖掘竞赛（如 Kaggle、KDDCup、ILSVRC Challenge）的背景下，我们展示了如何利用访问报告参赛者在测试集上的对数损失（log-loss）分数的预言机，来推断部分测试样本的真实标签。通过将此技术迭代地应用于小批量 个样本，最终可以推断出所有测试标签。在本文中：(1) 我们在近期一场 Kaggle 竞赛（Intel & MobileODT 癌症筛查）的第一阶段演示了此攻击，并利用它在从未训练分类器解决实际任务的情况下，实现了 的对数损失（从而在 848 名参赛者中排名第 4）。(2) 我们证明了批量大小 的上界，该上界是参赛者提交的标签概率估计的浮点分辨率的函数。(3) 我们推导并模拟演示了一种更灵活的攻击方法，即使预言机仅报告测试集标签中未知（但固定）子集的准确率，该方法也可使用。这些结果强调了仅基于预言机未检查的测试数据来评估参赛者的重要性。
引用
@article{arxiv.1707.01825,
title = {Climbing the Kaggle Leaderboard by Exploiting the Log-Loss Oracle},
author = {Jacob Whitehill},
journal= {arXiv preprint arXiv:1707.01825},
year = {2017}
}