LakeVilla：面向湖仓一体事务的模块化非侵入式工具箱
数据库
2025-10-20 v2
摘要
数据湖仓一体 (Lakehouse) 是当前云端分析堆栈的核心，提供跨厂商对云端数据湖中数据的弹性、关系型计算。为了实现关系语义，它们依赖于开放表格式 (OTF)。不幸的是，它们在元数据设计中缺乏许多特征，例如不支持多表事务以及在并发、多查询工作负载中因中止而发生的恢复。这导致不可重复读取、陈旧数据以及在生产云系统中产生高昂成本。本文引入 LakeVilla，一个模块化工具箱，通过在诸如 Apache Iceberg 和 Delta Lake 表等最先进的 OTF 上引入恢复、复杂事务和事务隔离来实现这一目标。我们考察了其事务保证，并显示其对性能几乎没有影响（2% YCSB 写入，2.5% TPC-DS 读取），并为 OTF 中的多个读写者提供了对任意长度事务的并发控制。
引用
@article{arxiv.2504.20768,
title = {LakeVilla: A Modular and Non-Invasive Toolbox for Lakehouse Transactions},
author = {Tobias Götz and Daniel Ritter and Jana Giceva},
journal= {arXiv preprint arXiv:2504.20768},
year = {2025}
}
备注
26 pages, 14 figures, 4 tables