多层聚合管道中面向可扩展数据质量监控的分层鲁棒主成分分析
数据库
2025-04-22 v1
摘要
数据质量（DQ）始终是大数据管道中的基本关注点，尤其是在进行多层次聚合时。传统的DQ验证规则往往难以在诸如用户交互、会话、轮廓、账户和区域等维度上实现可扩展或普遍适用。在本文中，我们提出了一种将分层鲁棒主成分分析（HrPCA）应用于多层聚合管道中面向可扩展数据质量监控的新方法。我们提出了一种模块化框架，在每个层次上将数据分解为低秩表示和稀疏残差，从而允许检测在聚合数据中出现的细微不一致、异常值和误对齐。我们使用包含受控异常的合成分层数据集进行评估，结果表明HrPCA在检测数据损坏和rollup不一致方面优于传统规则方法。
引用
@article{arxiv.2504.14524,
title = {Hierarchical Robust PCA for Scalable Data Quality Monitoring in Multi-level Aggregation Pipelines},
author = {Preetam Kumar Ojha},
journal= {arXiv preprint arXiv:2504.14524},
year = {2025}
}
备注
3 pages, 3 figures ,submitted to IEEE Access