AI 竞赛与基准：挑战赛与基准测试的生命周期
机器学习
2023-12-12 v1
摘要
数据科学研究正在经历一场由技术的变革力量、互联网以及不断增长的计算能力所推动的革命。开发复杂算法的速度是前所未有的，然而它们仍然赶不上研究人员日益获得的海量数据。在此，我们主张需要创造性地利用科学研究和算法开发社区作为稳健创新的轴心。通过批判性评估、社区实验和/或众包吸引这些社区参与科学发现事业，将成倍增加开发新的数据驱动、可复现且基准完善的算法解决方案的机会，以解决当前感兴趣的基础和应用问题。协调社区参与高度复杂和海量数据的分析，已成为寻找最能应对这些挑战的稳健方法的一种途径。当社区参与以竞赛形式进行时（也称为挑战赛），分析方法论的验证得到了内在解决，从而确立了性能基准。最后，挑战赛促进跨多个学科的开放创新，以创建直接或间接协作的社区来解决重大科学差距。参与者共同可以解决各种重要问题，如健康研究、气候变化和社会公平。最终，挑战赛可以催化并加速将复杂数据合成为知识或可操作信息的过程，应被视为产生持久社会和研究贡献的强大工具。
引用
@article{arxiv.2312.05296,
title = {AI Competitions and Benchmarks: The life cycle of challenges and benchmarks},
author = {Gustavo Stolovitzky and Julio Saez-Rodriguez and Julie Bletz and Jacob Albrecht and Gaia Andreoletti and James C. Costello and Paul Boutros},
journal= {arXiv preprint arXiv:2312.05296},
year = {2023}
}