挑战赛方案下分类器的比较
机器学习
2023-05-19 v1 性能
摘要
近几十年来，挑战赛作为众包方案在科学研究中变得非常流行。特别是，挑战赛对于开发机器学习算法至关重要。对于挑战赛设置，确立科学问题、数据集（具有足够的质量、数量、多样性和复杂性）、性能度量以及验证参与者结果的方法（金标准）至关重要。本文探讨了在挑战赛方案所施加的限制下评估不同竞争者（算法）性能的问题，例如使用唯一数据集（固定规模）对多个竞争者进行比较、最少提交次数，以及一组用于评估性能的度量。算法根据性能度量排序。然而，常可观察到竞争者之间的性能差异小至百分之一甚至千分之一，因此问题在于这些差异是否显著。本文分析了 MeOffendEs@IberLEF 2021 竞赛的结果，并提议通过重采样技术（bootstrap）进行推断，以支持挑战赛组织者的决策。
引用
@article{arxiv.2305.10452,
title = {Comparison of classifiers in challenge scheme},
author = {Sergio Nava-Muñoz and Mario Graff Guerrero and Hugo Jair Escalante},
journal= {arXiv preprint arXiv:2305.10452},
year = {2023}
}