队列学习：一种提供服务质量保障的强化学习方法
机器学习
2021-01-13 v1 人工智能
网络与互联网体系结构
性能
摘要
端到端时延是云计算和计算机网络等应用领域中服务质量（QoS）的关键属性。该指标在串联服务系统中尤为重要，其中端到端服务通过一系列服务链提供。服务速率控制是服务系统中提供QoS保障的常用机制。本文中，我们引入一种基于强化学习（RL-based）的服务速率控制器，其在防止服务资源过度使用的同时，为系统的端到端时延提供概率上界。为具备通用框架，我们使用排队论对服务系统建模。然而，我们采用基于RL的方法以规避排队论方法的局限。具体而言，我们使用深度确定性策略梯度（DDPG）来学习串联服务系统中服务速率（动作）作为队列长度（状态）的函数。与现有基于RL、以所获总体奖励衡量性能（可能难以解释甚至具误导性）的方法不同，我们提出的控制器为系统端到端时延提供明确的概率保障。评估针对具有非指数到达间隔与服务时间的串联排队系统给出，结果验证了我们的控制器在满足QoS约束方面的能力。
引用
@article{arxiv.2101.04627,
title = {Queue-Learning: A Reinforcement Learning Approach for Providing Quality of Service},
author = {Majid Raeis and Ali Tizghadam and Alberto Leon-Garcia},
journal= {arXiv preprint arXiv:2101.04627},
year = {2021}
}
备注
8 pages, Accepted to AAAI 2021