LeJOT：面向Databricks平台的智能作业成本编排方案
机器学习
2025-12-23 v1
摘要
随着大数据技术的快速发展，Databricks平台凭借其高计算效率和强大的生态系统，已成为企业和研究机构的基石。然而，管理与作业执行相关的不断攀升的运营成本仍是一项关键挑战。现有解决方案依赖于静态配置或被动调整，无法适应工作负载的动态特性。为此，我们提出LeJOT，一个智能作业成本编排框架，它利用机器学习进行执行时间预测，并采用基于求解器的优化模型进行实时资源分配。与传统的调度技术不同，LeJOT主动预测工作负载需求，动态分配计算资源，并在确保满足性能要求的同时最小化成本。在真实Databricks工作负载上的实验结果表明，LeJOT在分钟级调度时间范围内平均降低了20%的云计算成本，优于传统的静态分配策略。我们的方法为Data Lakehouse环境中的成本高效作业调度提供了一种可扩展且自适应的解决方案。
引用
@article{arxiv.2512.18266,
title = {LeJOT: An Intelligent Job Cost Orchestration Solution for Databricks Platform},
author = {Lizhi Ma and Yi-Xiang Hu and Yuke Wang and Yifang Zhao and Yihui Ren and Jian-Xiang Liao and Feng Wu and Xiang-Yang Li},
journal= {arXiv preprint arXiv:2512.18266},
year = {2025}
}
备注
The 11th International Conference on Big Data Computing and Communications