METL：一种具有动态映射矩阵的现代ETL管道

现代ETL流式管道从各种来源提取数据，并将其转发给多个消费者，例如数据仓库（DW）和利用机器学习（ML）的分析系统。然而，连接到此类管道的系统数量不断增加，需要新的数据集成解决方案。规范（或通用）数据模型（CDM）提供了这样一种集成。它对于将微服务系统集成到ETL管道中特别有用。（Villaca等人，2020年；Oliveira等人，2019年）然而，映射到CDM是复杂的。（Lemcke等人，2012年）存在三个复杂性问题，即所需映射矩阵的大小、响应于提取源变化而自动更新矩阵以及映射的时间效率。在本文中，我们为这些问题提出了一个新的解决方案。更准确地说，我们提出了一种新的动态映射矩阵（DMM），它基于通过对完整映射矩阵进行块划分而获得的置换矩阵。我们证明，DMM可用于响应模式变化的自动更新、近实时的并行计算以及高效的压缩。对于该解决方案，我们借鉴了矩阵划分（Quinn，2004年）和动态网络（Haase等人，2021年）的研究。DMM已在一个名为Message ETL（METL）的应用程序中实现。METL是EOS新的ETL流式管道的核心部分，该管道执行到CDM的转换。该ETL管道基于Kafka-streams。它使用基于日志的变更数据捕获（CDC）和Debezium从80多个微服务中提取数据，并将数据加载到数据仓库和机器学习平台。EOS是欧洲第二大电子商务提供商Otto集团的一部分。