DOD-ETL：面向近实时商业智能的分布式按需ETL
分布式、并行与集群计算
2019-07-17 v1 数据库
摘要
全球化市场的竞争态势要求获取企业内外部现实的信息。信息是宝贵资产，并负责建立关键优势以使企业保持领先地位。然而，可靠、丰富的信息不再是唯一目标。从数据中提取信息的时间框架决定了其有用性。本工作提出DOD-ETL，一种以创新方式解决商业智能解决方案主要瓶颈——抽取转换加载过程(ETL)——并使其近实时化的工具。DOD-ETL通过结合按需数据流管道与分布式、并行且技术无关的架构以及内存缓存和高效数据分区来实现这一点。我们将DOD-ETL与其他用于执行近实时ETL的流处理框架进行比较，发现DOD-ETL执行工作负载的速度最高快10倍。我们已将其部署在一家大型钢铁厂以替代其先前的ETL解决方案，实现了先前无法提供的近实时报告。
引用
@article{arxiv.1907.06723,
title = {DOD-ETL: Distributed On-Demand ETL for Near Real-Time Business Intelligence},
author = {Gustavo V. Machado and Ítalo Cunha and Adriano C. M. Pereira and Leonardo B. Oliveira},
journal= {arXiv preprint arXiv:1907.06723},
year = {2019}
}