面向汽车数据工程场景的 Delta Parquet、Iceberg 与 Hudi 比较研究
软件工程
2025-08-20 v1
摘要
汽车行业从传感器、遥测、诊断和实时操作中生成海量数据。高效的数据工程对于处理延迟、可扩展性和一致性等挑战至关重要。现代数据湖仓格式 Delta Parquet、Apache Iceberg 和 Apache Hudi 提供了诸如 ACID 事务、模式强制和实时摄取等功能，融合了数据湖和仓库的优势，以支持复杂用例。本研究使用来自真实世界汽车遥测数据的时序数据进行比较分析，数据字段包括车辆 ID、时间戳、位置和事件指标。评估考虑了建模策略、分区、CDC 支持、查询性能、可扩展性、数据一致性和生态系统成熟度。关键发现表明，Delta Parquet 提供了强大的机器学习就绪性和治理，Iceberg 为批量分析和云原生工作负载提供高性能，而 Hudi 则针对实时摄取和增量处理进行了优化。每种格式在查询效率、时光旅行和更新语义方面都存在权衡。该研究为支持车队管理、预测性维护和路线优化提供了见解。使用结构化数据集和真实查询，结果为扩展数据管道并集成机器学习模型到汽车应用提供了实用指导。
引用
@article{arxiv.2508.13396,
title = {A Comparative Study of Delta Parquet, Iceberg, and Hudi for Automotive Data Engineering Use Cases},
author = {Dinesh Eswararaj and Ajay Babu Nellipudi and Vandana Kollati},
journal= {arXiv preprint arXiv:2508.13396},
year = {2025}
}
备注
Published in SSRG International Journal of Computer Science and Engineering (IJCSE), July 2025. This is the authors accepted manuscript. The final published version is available