面向自适应分布式微服务架构的深度循环 Q 网络
软件工程
2021-12-07 v2 人工智能
摘要
微服务架构的一个理想特性是能够针对运行环境的变化自适应地调整自身架构与行为。为实现所期望的高度自适应性，本研究基于 MAPE-K 模型构建了分布式微服务架构模型。所提出的架构采用由集中式控制器支持的多自适应智能体，能够观测环境并执行合适的自适应动作。自适应规划由深度循环 Q 网络（DRQN）管理。我们认为，在 MAPE-K 模型中将 DRQN 与 MDP 智能体相集成，可为分布式微服务架构提供自适应性以及高可用性与可扩展性。将 DRQN 集成到自适应过程中可提升自适应效果，并降低包括资源过度配置与抖动在内的自适应风险。针对深度 Q 学习及策略梯度算法对 DRQN 的性能进行了评估，包括：i) 深度 Q 网络（DQN）、ii) 对偶深度 Q 网络（DDQN）、iii) 策略梯度神经网络（PGNN）以及 iv) 深度确定性策略梯度（DDPG）。本文的 DRQN 实现在总奖励、更短自适应时间、更低错误率以及更快收敛与训练时间方面均优于上述算法。我们坚信 DRQN 更适用于驱动分布式面向服务架构中的自适应，并较其他动态决策算法具有更优性能。
引用
@article{arxiv.1901.04011,
title = {A Deep Recurrent Q Network towards Self-adapting Distributed Microservices architecture},
author = {Basel Magableh},
journal= {arXiv preprint arXiv:1901.04011},
year = {2021}
}