基于知识图嵌入的自动化大数据质量评估
机器学习
2026-05-21 v1 人工智能
摘要
自动化数据质量评估对于大数据管理至关重要，但现有解决方案在实现准确、上下文感知的评估方面面临挑战。本文提出一种新颖的基于知识的方法，以提升自动化数据质量评估。我们的做法利用知识图嵌入来预测输入数据集上下文表征与相关质量规则和维度之间缺失的边缘，这些规则和维度代表了上下文数据特征及其所需的质量评估操作。我们超越了传统做法，将多样化表示整合到知识图中，从详尽的文献调查中提取上下文信息。这一整合允许我们为每个上下文开发一套全面且特定于上下文的数据质量评估计划。利用知识图可帮助我们更好地理解输入数据集的上下文，克服了仅依赖严格匹配、忽视上下文特征的传统方法的局限性。通过注入数值边属性，我们为每个预测的质量测量分配相应的权重，为输入数据集提供全面的数据质量评估计划。为评估我们的做法，我们利用由 AccentureLabs 开发并基准测试的 AmpliGraph 框架。评估采用由黎巴嫩原子能委员会(LAEC-CNRS)提供的真实世界辐射传感器数据集。该评估结果表明，我们的解决方案能够为给定输入数据集生成全面的数据质量评估计划。
引用
@article{arxiv.2605.18833,
title = {Automated Big Data Quality Assessment using Knowledge Graph Embeddings},
author = {Hadi Fadlallah and Rima Kilany and Mitri Haber and Ali Jaber},
journal= {arXiv preprint arXiv:2605.18833},
year = {2026}
}
备注
17 pages, 10 figures