数据准备管道中原信息的内存索引与查询
数据库
2025-11-06 v1
摘要
数据原信息在数据准备管道中具有诸多应用。可用于调试故障的管道、解释结果、验证公平性，以及识别可能影响管道执行的源数据质量问题。本文提出一种索引机制，用于高效捕获和查询管道原信息。我们的解决方案利用张量捕获数据处理操作的细粒度原信息，使用最小内存。在除记录级别的血缘关系外，我们提供属性级别的更细粒度。通过增强捕获回溯原信息的张量，引入前瞻原信息，将输入模式与输出模式之间的联系进行关联。我们展示了这两种原信息类型（回溯和前瞻）如何组合以高效回答广泛的原信息查询，并通过使用真实和合成数据的评估练习显示其有效性。
引用
@article{arxiv.2511.03480,
title = {In-Memory Indexing and Querying of Provenance in Data Preparation Pipelines},
author = {Khalid Belhajjame and Haroun Mezrioui and Yuyan Zhao},
journal= {arXiv preprint arXiv:2511.03480},
year = {2025}
}