基于深度强化学习（DRL）的无服务器流处理引擎方法：愿景、架构要素与未来方向
分布式、并行与集群计算
2024-02-28 v1
摘要
随着越来越多的数据源持续产生需要实时处理和分析的数据，流应用在广泛的业务领域正变得日益普及。现代企业正积极利用流数据生成有价值的知识，用于自动化流程、辅助决策、优化资源使用，并最终为组织创造收入。尽管其采用率不断提高且带来切实利益，但针对流应用的自动部署和管理的支持尚未出现。尽管近年来开源社区涌现了大量流管理系统，但所有现有框架都要求人工操作员付出相当艰巨且漫长的努力，手动并持续地调整其配置和部署环境，以达到并维持预期的性能目标。为应对这些挑战，本文提出了一种愿景，即创建基于深度强化学习（DRL）的方法，将流处理引擎转变为自管理的无服务器解决方案。这将提高生产力，使工程师能够专注于实际开发过程；提升应用性能， potentially 导致响应时间缩短、结果更准确且更有意义；并显著降低组织的运营成本。
引用
@article{arxiv.2402.17117,
title = {Deep Reinforcement Learning (DRL)-based Methods for Serverless Stream Processing Engines: A Vision, Architectural Elements, and Future Directions},
author = {Maria R. Read and Chinmaya Dehury and Satish Narayana Srirama and Rajkumar Buyya},
journal= {arXiv preprint arXiv:2402.17117},
year = {2024}
}
备注
21 pages, 10 figures