数据质量测量与监控工具综述
数据库
2019-07-19 v1 机器学习
摘要
高质量数据是可解释且可信的数据分析的关键,也是有意义的数据驱动决策的基础。在实际场景中,数据质量通常与数据预处理、剖析和清洗相关联,以服务于数据集成或数据分析等后续任务。然而,从科学角度看,已有大量关于数据质量问题测量(即检测)的研究发表,并讨论了不同的通用数据质量维度与指标。本工作中,我们通过调研当前数据质量工具的功能范围,弥合数据质量测量研究与实用实现之间的鸿沟。通过系统性检索,我们识别出 667 个专用于“数据质量”的软件工具,并从中依据三个功能领域评估了 13 个工具:(1)数据剖析,(2)基于指标的数据质量测量,以及(3)持续数据质量监控。我们依据预定义的排除标准选择受评估工具,以确保其领域无关、提供所调研功能、并可免费或以试用方式评估。本综述旨在全面概述最先进的数据质量工具,并揭示其功能增强的潜力。此外,结果允许对研究中广泛接受但所观察工具中几乎未实现的概念(例如通用数据质量指标)进行批判性讨论。
引用
@article{arxiv.1907.08138,
title = {A Survey of Data Quality Measurement and Monitoring Tools},
author = {Lisa Ehrlinger and Elisa Rusz and Wolfram Wöß},
journal= {arXiv preprint arXiv:1907.08138},
year = {2019}
}
备注
35 pages, 1 figure