数据供应链中的区块链问责:数据物料清单方法
软件工程
2024-08-19 v1 机器学习
摘要
在先进人工智能时代,以大规模生成模型(如GPT-4)为标志,确保数据集在其整个生命周期中的可追溯性、可验证性和可复现性,对于研究机构和技术公司至关重要。这些组织越来越依赖庞大的语料库来训练和微调先进的AI模型,从而形成了复杂的数据供应链,需要有效的数据治理机制。此外,挑战加剧,因为不同的利益相关者可能使用各种工具,往往缺乏确保数据问责性和结果可靠性的充分措施。在本研究中,我们将“软件物料清单”的概念应用于数据治理和管理领域,以应对上述挑战,并引入了“数据物料清单”(DataBOM),通过存储特定的元数据来捕获不同数据集和利益相关者之间的依赖关系。我们展示了一个用于提供基于区块链的DataBOM服务的平台架构,介绍了利益相关者的交互协议,并讨论了DataBOM元数据的最低要求。通过案例研究和定量分析,对所提出的解决方案的可行性和性能进行了评估。
引用
@article{arxiv.2408.08536,
title = {Blockchain-Enabled Accountability in Data Supply Chain: A Data Bill of Materials Approach},
author = {Yue Liu and Dawen Zhang and Boming Xia and Julia Anticev and Tunde Adebayo and Zhenchang Xing and Moses Machao},
journal= {arXiv preprint arXiv:2408.08536},
year = {2024}
}