从面向 AI 的数据质量到面向数据质量的 AI：数据仓库中 AI 增强数据质量管理工具的系统综述
数据库
2025-06-30 v3 人工智能
计算工程、金融与科学
新兴技术
摘要
虽然高数据质量 (DQ) 对分析、合规以及 AI 性能至关重要，但数据质量管理 (DQM) 仍是一个复杂、耗资源且常常是手动操作的过程。本研究调查了现有工具在数据仓库环境中支持 AI 增强数据质量管理 (DQM) 的程度。为此，我们对 151 个 DQ 工具进行系统性综述，以评估其自动化能力，特别是在数据仓库中检测和推荐 DQ 规则——这是现代数据生态系统的关键组成部分。通过基于功能性、可试用性、监管合规性（如 GDPR）以及与数据仓库架构兼容性的多阶段筛选过程，仅有 10 个工具符合 AI 增强 DQM 的标准。分析结果表明，大多数工具侧重于数据清洗和为 AI 做数据准备，而不是利用 AI 来改进 DQ 本身。虽然存在基于元数据和基于机器学习的规则检测技术，但诸如基于 SQL 的规则规范、对比逻辑以及 AI 驱动建议的可解释性等特征仍较稀缺。本研究提供了实用的工具选择指导，并为下一代 AI 驱动的 DQ 解决方案 outlined 了关键设计要求——主张从“面向 AI 的数据质量”向“面向数据质量管理的 AI”进行范式转变。
引用
@article{arxiv.2406.10940,
title = {From Data Quality for AI to AI for Data Quality: A Systematic Review of Tools for AI-Augmented Data Quality Management in Data Warehouses},
author = {Heidi Carolina Tamm and Anastasija Nikiforova},
journal= {arXiv preprint arXiv:2406.10940},
year = {2025}
}