无服务器计算中使用离策略强化学习按需降低冷启动频率

函数即服务（FaaS）是一种为应用提供事件驱动执行模型的云计算范式。它通过免除开发者的资源管理职责而具备无服务器属性，并提供透明且按需的应用可扩展性。为提供无缝的按需可扩展性，在函数实例缺失或不可用时，会准备新的函数实例以服务传入的工作负载。然而，FaaS平台众所周知受困于冷启动，此函数配置过程在函数响应中引入了不可忽略的延迟，并降低了最终用户体验。因此，本文工作聚焦于通过使用强化学习（RL）来减少平台上频繁的按需冷启动。所提方法使用无模型的Q-learning，考虑如CPU利用率、现有函数实例和响应失败率等函数指标，基于预期需求提前主动初始化函数。该解决方案在Kubeless上实现，并使用应用于矩阵乘法函数的开源函数调用轨迹进行评估。评估结果表明，与Kubeless的默认策略和函数保活策略相比，基于RL的智能体表现良好，将吞吐量最高提升8.81%，并将计算负载和资源浪费分别最高降低55%和37%，这直接是冷启动减少的结果。