如何举办数据竞赛：关于竞赛设计与分析的统计建议

数据竞赛依赖实时排行榜对参赛者提交结果排名，以激励算法改进。尽管此类竞赛已相当流行和普遍，尤其在监督学习形式中，主办方的具体实施方式却差异很大。若缺乏周密规划，监督学习竞赛易出现过拟合，即获胜方案过度调谐于所提供的特定数据集，无法泛化到主办方关注的潜在问题。本文基于我们的经验，概述了为战略性设计相关且信息丰富的数据集以最大化举办竞赛的学习收益所需的重要考量。文中还描述了一种赛后分析，能够对不同参赛者方案的优劣进行稳健而高效的评估，并加深对输入空间中已被良好求解区域的了解。该赛后分析作为排行榜的补充，采用探索性数据分析与广义线性模型（GLMs）。GLMs 不仅拓展了可探索的结果范围，还针对个别子问题提供更细致的分析，包括不同情景下算法间的异同、输入空间中普遍容易或困难的区域，以及不同的学习目标。当与战略性规划的数据生成方法结合时，这些方法能提供更丰富、更具信息量的总结，超越排行榜排名本身来增强对结果的解读。方法以近期一项用于评估可在城市环境中探测、识别并定位放射性物质的算法的竞赛为例加以说明。