MetaLead：面向机器学习实验透明报告的人类精选领袖数据集
机器学习
2026-02-02 v1 人工智能
摘要
领袖榜单是机器学习（ML）领域进行基准测试和跟踪进展的关键工具。然而，传统上创建领榜需要大量的手动工作。近年来，已致力于自动生成领榜，但现有数据集受限于仅捕捉每篇论文的最佳结果且元数据有限。我们提出 MetaLead，一个完全由人工标注的 ML 领榜数据集，捕捉所有实验结果以实现结果透明度，并包含额外的元数据，如结果实验类型：基线、提出方法或提出方法的变体，用于实验类型指导的比较，并明确分离训练和测试数据集以进行跨域评估。这种丰富的结构使 MetaLead 成为更广泛用于透明和细致评估 across ML research 的强大资源。
引用
@article{arxiv.2601.22420,
title = {MetaLead: A Comprehensive Human-Curated Leaderboard Dataset for Transparent Reporting of Machine Learning Experiments},
author = {Roelien C. Timmer and Necva Bölücü and Stephen Wan},
journal= {arXiv preprint arXiv:2601.22420},
year = {2026}
}
备注
EACL 2026