NeurIPS 数据集管理实践的系统性综述

随着新的机器学习方法需要更大的训练数据集，研究人员和开发者在数据集管理方面面临重大挑战。尽管伦理审查、文档和检查清单已经建立，但整个社区是否存在一致的数据集管理实践仍不确定。缺乏全面的概述阻碍了我们诊断和解决与管理大型数据集相关的基本矛盾和伦理问题的能力。我们对 NeurIPS 数据集与基准（Datasets and Benchmarks）赛道发表的数据集进行了系统性综述，重点关注四个关键方面：来源、分发、伦理披露和许可。我们的发现表明，由于模糊的过滤和整理过程，数据集的来源往往不清晰。此外，数据集托管使用了多种站点，但只有少数提供结构化的元数据和版本控制。这些不一致性凸显了为数据集的发布和管理建立标准化数据基础设施的迫切需求。