Software Heritage 许可证数据集（2022 版）
软件工程
2023-08-23 v1
摘要
背景：当软件公开发布时，通常会随代码包含其完整许可证文本或许可证引用。因此，公共许可证（包括自由开源软件许可证）通常在源代码仓库中公开可用。目标：编译包含尽可能多包含软件许可证文本或许可证引用文件的文档的数据集。编译后，对数据集进行表征，以便用于后续研究或与许可证分析相关的实际应用。方法：从 Software Heritage——最大的公开可获取的 FOSS 源代码存档中检索所有文件名常用于传递许可证信息的文件。所有检索到的文档将通过自动化和手动分析进行多种表征。结果：该数据集包含 690 万个唯一许可证文件。还提供有关分发许可证文件的额外元数据，使数据集可用于各种情境，包括：文件长度、MIME 类型、SPDX 许可证（使用 ScanCode 检测）以及最早出现的次数。还包括对 8102 份文件的手动分析结果，为后续分析提供真实数据。该数据集以开放数据形式发布，包含所有去重许可证文件的归档文件，以及多个可移动的 CSV 文件，按加密校验和引用文件。结论：鉴于 Software Heritage 的广泛覆盖，本文提出的数据集涵盖了公开代码几乎所有许可证的很大比例。我们组装了大量软件许可证，进行定性和定量表征，验证其主要由许可证信息组成，几乎包含所有已知许可证文本。该数据集可用于开源许可证的实证研究、自动化许可证分类器的训练、法律文本的自然语言处理分析，以及 FOSS 许可证的历史和演化树研究。也可用于实际应用，以提高源代码中检测许可证的工具。
引用
@article{arxiv.2308.11258,
title = {The Software Heritage License Dataset (2022 Edition)},
author = {Jesús M. González-Barahona and Sergio Montes-Leon and Gregorio Robles and Stefano Zacchiroli},
journal= {arXiv preprint arXiv:2308.11258},
year = {2023}
}