中文

面向正确性设计的湖仓系统:数据契约、版本控制与事务性管道

分布式、并行与集群计算 2026-03-18 v3 人工智能 数据库

摘要

湖仓(lakehouse)已成为分析和人工智能的默认存储子系统,但在并发且不可信的变更下仍然脆弱:模式不匹配往往仅在运行时显现,开发环境与生产环境容易 diverged,多表管道在失败后可能暴露部分结果。我们提出 Bauplan,一种面向正确性设计的代码驱动湖仓,旨在通过构造消除广泛的这些故障。Bauplan 基于已提供原子单表快照演化的存储子系统,增加了三种管道级正确性机制:类型化表契约以实现可检查的转换边界、类 Git 数据版本以支持可复现的协作与审阅,以及事务性运行以保证整个管道执行的原子发布。我们描述了系统设计,说明这些抽象如何整合到统一的编程模型中,以服务于人类和智能体,并报告了基于轻量级 Alloy 模型的早期结果,该模型既验证了关键直觉,也暴露了关于事务分支可见性的细微反例。我们的经验表明,湖仓的正确性最好不是通过事后修补故障来实现,而是通过限制编程模型,使得许多非法状态难以被表示。

关键词

引用

@article{arxiv.2602.02335,
  title  = {Building a Correct-by-Design Lakehouse. Data Contracts, Versioning, and Transactional Pipelines for Humans and Agents},
  author = {Weiming Sheng and Jinlang Wang and Manuel Barros and Aldrin Montana and Jacopo Tagliabue and Luca Bigon},
  journal= {arXiv preprint arXiv:2602.02335},
  year   = {2026}
}

备注

Submission pre-print, data conference