World of Code:支持开源版本控制数据全域挖掘与分析的研究工作流
软件工程
2020-11-02 v1
摘要
开源软件(OSS)对现代社会至关重要,尽管已有大量针对单个(通常是核心)项目的研究,但对整个 OSS 生态系统外围的了解仍很有限。例如,外围数千万个项目如何通过技术依赖、代码共享或知识流动相互连接?为回答此类问题,我们:a) 创建了名为 World of Code(WoC)的、整个 FLOSS 生态系统的超大规模且频繁更新的版本控制数据集合,可完全交叉引用 FLOSS 生态系统的作者、项目、提交、blob、依赖与历史;b) 提供高效纠正、扩充、查询与分析该数据的能力。我们当前的 WoC 实现能够每月更新,包含超过 180 亿个 Git 对象。为评估其研究潜力并给出使用范例,我们利用 WoC 开展了若干研究任务。特别地,我们发现它能支持趋势评估、生态系统度量与包使用判定。我们期望 WoC 推动对 OSS 开发全局属性的研究,从而提升整个 OSS 生态系统的韧性。我们的基础设施有助于发现关键技术依赖、代码流与社会网络,为确定驱动 FLOSS 活动与创新的关系结构与演化提供基础。
引用
@article{arxiv.2010.16196,
title = {World of Code: Enabling a Research Workflow for Mining and Analyzing the Universe of Open Source VCS data},
author = {Yuxing Ma and Tapajit Dey and Chris Bogart and Sadika Amreen and Marat Valiev and Adam Tutko and David Kennard and Russell Zaretzki and Audris Mockus},
journal= {arXiv preprint arXiv:2010.16196},
year = {2020}
}