中文

利用Transformer的可解释性实现云资源主动扩缩容自动化

机器学习 2024-09-06 v1

摘要

现代Web服务采用云原生原则以利用微服务的优势。为了根据服务级别协议(SLA)持续保证高服务质量(QoS),确保令人满意的用户体验并最小化运营成本,必须为每个微服务配置适量的资源。然而,准确地为微服务配置充足资源十分复杂,且取决于许多因素,包括工作负载强度和微服务之间复杂的互连。为了应对这一挑战,我们开发了一个模型,用于捕捉端到端延迟、前端级别的请求与资源利用率之间的关系。随后,我们使用该模型来预测端到端延迟。我们的解决方案利用了Temporal Fusion Transformer(TFT),这是一种配备可解释性特征的基于注意力的架构。当预测结果表明不符合SLA时,我们将TFT提供的特征重要性作为核岭回归(KRR)中的协变量,以期望延迟为响应变量,学习与特征重要性相关的参数。这些学习到的参数反映了为确保符合SLA而对特征所需进行的调整。我们通过一个基于微服务的应用展示了我们方法的优点,并提供了部署路线图。

关键词

引用

@article{arxiv.2409.03103,
  title  = {Leveraging Interpretability in the Transformer to Automate the Proactive Scaling of Cloud Resources},
  author = {Amadou Ba and Pavithra Harsha and Chitra Subramanian},
  journal= {arXiv preprint arXiv:2409.03103},
  year   = {2024}
}

备注

14 pages, 5 figures