Kamae：桥接 Spark 与 Keras 实现无缝机器学习预处理
机器学习
2025-07-09 v1
摘要
在生产级推荐系统中，特征预处理必须在训练和推理环境中忠实复现。这通常需要在离线和在线环境中复制逻辑，增加工程 effort 并引入数据漂移风险。我们提出 Kamae，一个开源 Python 库，通过将 PySpark 预处理管道转换为等效的 Keras 模型来弥合这一鸿沟。Kamae 提供一套可配置的 Spark transformer 和 estimator，每个都对应一个 Keras 层，实现整个机器学习生命周期中的一致性、端到端的预处理。该框架在真实场景中得到验证，包括 MovieLens 数据集和 Expedia 的学习排序管线。代码已公开于 https://github.com/ExpediaGroup/kamae。
引用
@article{arxiv.2507.06021,
title = {Kamae: Bridging Spark and Keras for Seamless ML Preprocessing},
author = {George Barrowclough and Marian Andrecki and James Shinner and Daniele Donghi},
journal= {arXiv preprint arXiv:2507.06021},
year = {2025}
}