通过双目推测增强 MapReduce 故障恢复
分布式、并行与集群计算
2019-01-24 v1
摘要
MapReduce 推测在发现潜在任务掉队者和故障方面起着重要作用。但由于其固有的两阶段(map 和 reduce)管理方案,MapReduce 中存在一种心照不宣的二分法,其中 map 任务与 reduce 任务具有明显不同的执行行为,而 reduce 任务又依赖于 map 任务的结果。我们揭示,MapReduce 中用于故障处理的推测策略并未认识到 map 与 reduce 任务之间的这种二分法,这导致了 MapReduce 故障恢复的推测短视问题。这些问题在网络和节点故障时引起显著的性能下降。为解决由 MapReduce 二分法引起的推测短视,我们引入了一种称为双目推测的新方案,以帮助 MapReduce 扩大其推测评估范围。作为该方案的一部分,我们还设计了三种组件技术,包括邻域一瞥、集体推测和推测回滚。我们的评估表明,借助这些技术,双目推测能够增加 map 与 reduce 阶段的协调,并提升 MapReduce 故障恢复的效率。
引用
@article{arxiv.1901.07715,
title = {Enhancing MapReduce Fault Recovery Through Binocular Speculation},
author = {Huansong Fu and Yue Zhu and Amit Kumar Nath and Md. Muhib Khan and Weikuan Yu},
journal= {arXiv preprint arXiv:1901.07715},
year = {2019}
}
备注
10 pages, 9 figures