竞赛运营的在线提交与评估系统设计

研究社区已跨越多个领域开发了基准数据集，以比较算法和技术的性能。然而，由于出版物同时在不同场所出现，并且许多人声称代表最先进技术，因此跟踪这些研究领域的进展并不容易。为此，研究社区通常会组织定期赛事来评估各种算法和技术的性能，从而跟踪该领域的进展。然而，这些赛事会带来显著的运营负担。组织者必须管理和评估大量提交。此外，参与者通常在多样化的环境中开发他们的解决方案，导致在提交评估期间出现兼容性问题。本文提出了一个在线竞赛系统，用于自动化提交和评估过程。该竞赛系统允许组织者高效地管理大量提交，利用隔离环境来评估提交。该系统已成功用于多个赛事，包括基于网格的寻路竞赛和机器人赛跑联赛。