模糊云自动伸缩中强化学习技术的比较
分布式、并行与集群计算
2017-05-22 v1 人工智能
摘要
云服务管理的一个目标是设计自适应自动伸缩器，以对工作负载波动做出反应并更改分配的资源。关键问题是如何以及何时添加/移除资源，以满足商定的服务等级协议。降低应用成本和保证服务等级协议（SLA）是动态控制器设计的两个关键因素。在本文中，我们比较了两种基于模糊逻辑系统的动态学习策略，该系统在运行时学习并修改模糊伸缩规则。一个自适应模糊逻辑控制器与两种强化学习（RL）方法相结合：(i) 模糊SARSA学习（FSL）和 (ii) 模糊Q学习（FQL）。作为一种离策略方法，Q学习的学习独立于当前遵循的策略，而SARSA作为一种在策略方法，始终结合智能体的实际行为，并导致更快的学习。这两种方法均在OpenStack云平台上实现，并比较了它们的优缺点。我们证明，两种自动伸缩方法都能处理各种负载流量情况，包括突发性和周期性负载，并按需交付资源，同时降低运营成本并防止SLA违规。实验结果表明，FSL和FQL在优化SLA合规性和响应时间方面，就调整后的虚拟机数量而言，具有可接受的性能。
引用
@article{arxiv.1705.07114,
title = {A Comparison of Reinforcement Learning Techniques for Fuzzy Cloud Auto-Scaling},
author = {Hamid Arabnejad and Claus Pahl and Pooyan Jamshidi and Giovani Estrada},
journal= {arXiv preprint arXiv:1705.07114},
year = {2017}
}