中文

开源数据质量工具综述:揭示数据质量维度在实践中的实现

数据库 2024-07-29 v1

摘要

数据质量(Data Quality, DQ)描述数据特征如何满足要求并适合人类和/或系统使用。DQ 可以以多个方面进行衡量,称为 DQ 维度(即准确性、完整性、一致性等),也称为文献中的特征。ISO/IEC 25012 标准定义了包含十五个此类维度的数据质量模型,规定了数据产品应满足的要求。在本短报告中,我们旨在系统性地弥合 DQ 工具所提供的低层次功能与高层次维度之间的差距,揭示它们之间的许多对多关系。为此,我们检查了 6 个开源 DQ 工具,并强调提供将其功能与 ISO 标准中定义的 DQ 维度映射的方法。所适用时,我们还提供了洞察,阐述工具所利用的软件工程细节,以解决 DQ 挑战。

关键词

引用

@article{arxiv.2407.18649,
  title  = {A survey of open-source data quality tools: shedding light on the materialization of data quality dimensions in practice},
  author = {Vasileios Papastergios and Anastasios Gounaris},
  journal= {arXiv preprint arXiv:2407.18649},
  year   = {2024}
}