阿里巴巴集群中同置数据中心工作负载的异常分析
分布式、并行与集群计算
2018-11-19 v1
摘要
在仓库级云数据中心中，将在线服务与离线批处理作业同置是提升数据中心利用率的高效途径。为更好促进对同置工作负载间交互及其真实运维需求的理解，阿里巴巴近期发布了一个集群使用与同置工作负载数据集，这是首个带有每个作业类别精确信息的公开数据集。本文从异常分析与诊断的视角，对发布的阿里巴巴工作负载数据集进行了深入分析。通过数据预处理、基于动态时间规整（DTW）的节点相似性分析、同置工作负载特征分析以及基于 iForest 的异常分析，我们揭示了若干见解包括：(1) 阿里巴巴生产集群中机器的性能差异相对较大，因为同置工作负载的分布与资源利用并不均衡。例如，批处理作业的资源利用率（尤其是内存利用率）波动且不如在线容器稳定，原因在于在线容器是长运行且更耗内存的作业，而多数批处理作业为短作业；(2) 基于同置工作负载实例数的分布，机器可被划分为8个工作负载分布类别1，且大多数机器资源利用率曲线模式在同一工作负载分布类别中相似；(3) 除系统故障外，不合理调度与工作负载不均衡是阿里巴巴集群中异常的主因。
引用
@article{arxiv.1811.06901,
title = {Anomaly Analysis for Co-located Datacenter Workloads in the Alibaba Cluster},
author = {Rui Ren and Jinheng Li and Lei Wang and Jianfeng Zhan and Zheng Cao},
journal= {arXiv preprint arXiv:1811.06901},
year = {2018}
}