PingAn：一种面向地理分布式大数据分析系统作业加速的保险机制
分布式、并行与集群计算
2018-04-11 v2
摘要
云边系统中的地理分布式数据分析正成为日常需求。为节省广域数据传输时间，部分任务被分散至边缘。然而，由于计算能力有限、过载干扰及集群级不可达故障，边缘的高效执行十分困难，这阻碍了作业效率与可靠性的保障。跨集群启动副本可作为任务完成的保险。考虑到集群异构性及伴随的远程数据获取，副本的集群选择影响执行质量，因为不同的保险方案带来不同的收益。为提供在线实时分析结果，系统需要为到达作业保险地理分布式资源。我们的挑战在于通过动态权衡保险带来的收益与占用额外资源保险的损失来实现最优收益。为此，我们设计 PingAn，一种在线保险算法，通过跨集群任务复制在作业流时间总和上保证 。PingAn 在未处理数据量最少的作业前段中共享资源，该比例可调节以适配系统负载状况。共享后，PingAn 具体为任务按效率优先、可靠性感知原则保险，以优化副本对作业性能的收益。轨迹驱动仿真表明，PingAn 比当前最优的推测机制至少减少 的平均作业流时间。我们还在 Spark on Yarn 系统中构建 PingAn 以验证其实用性与通用性。实验显示，相比默认 Spark 执行，PingAn 最多可减少 的平均作业流时间。
引用
@article{arxiv.1804.02817,
title = {PingAn: An Insurance Scheme for Job Acceleration in Geo-distributed Big Data Analytics System},
author = {Tiantian Wang and Zhuzhong Qian and Sanglu Lu},
journal= {arXiv preprint arXiv:1804.02817},
year = {2018}
}