集成模型检验与仿真的Hadoop调度器故障分析
软件工程
2021-09-10 v1 性能
摘要
Hadoop调度器是Hadoop的核心组件，而Hadoop是云环境中数据密集型应用的主流处理框架。鉴于故障对运行于Hadoop上的应用性能的影响，测试与验证Hadoop调度器的性能至关重要。现有的方法，如性能仿真和分析建模，由于无法对Hadoop调度器进行完备验证而存在不足，这是因为Hadoop涉及广泛的约束和方面。本文提出一种新颖的方法，集成并融合仿真与模型检验技术，对Hadoop调度器进行形式化验证，重点关注以下属性：可调度性、公平性和无资源死锁。我们使用CSP语言形式化描述Hadoop调度器，并使用PAT模型检验器验证其属性。接着，我们运用所提出的形式化模型分析OpenCloud的调度器——一个模拟Hadoop负载的基于Hadoop的集群，以阐明我们工作的可用性和益处。结果表明，我们提出的方法有助于在早期（即任务在集群上执行之前）识别出多个任务故障（高达78%）。
引用
@article{arxiv.2109.04196,
title = {Failure Analysis of Hadoop Schedulers using an Integration of Model Checking and Simulation},
author = {Mbarka Soualhia and Foutse Khomh and Sofiene Tahar},
journal= {arXiv preprint arXiv:2109.04196},
year = {2021}
}
备注
In Proceedings SCSS 2021, arXiv:2109.02501