LINEAGEX：一个 SQL 列级血缘提取系统
数据库
2025-05-30 v1
摘要
随着企业数据在规模和复杂性上的增长，记录仓库中每列的创建、转换和引用的列级数据血缘，已成为有效数据治理的关键，有助于数据质量监控、存储重构和工作流迁移等任务。遗憾的是，现有系统因与查询执行集成而引入开销，或在列血缘方面无法达到令人满意的准确率。在本文中，我们展示了 LINEAGEX，这是一个轻量级的 Python 库，可从 SQL 查询推断列级血缘并通过交互式界面进行可视化。LINEAGEX 通过智能遍历查询解析树和处理歧义，在列血缘提取方面实现了高覆盖率和准确率。演示展示了构建血缘图和排查数据质量问题的用例。LINEAGEX 已在 https://github.com/sfu-db/lineagex 开源，视频演示位于 https://youtu.be/5LaBBDDitlw
引用
@article{arxiv.2505.23133,
title = {LINEAGEX: A Column Lineage Extraction System for SQL},
author = {Shi Heng Zhang and Zhengjie Miao and Jiannan Wang},
journal= {arXiv preprint arXiv:2505.23133},
year = {2025}
}
备注
Proceedings of the 41st IEEE International Conference on Data Engineering (ICDE), Demo Track, 2025