Hadoop 中基于 SDN 的带宽感知调度：大数据的新趋势
分布式、并行与集群计算
2014-03-13 v1 网络与互联网体系结构
性能
摘要
软件定义网络是一种革命性的网络架构，它将网络控制功能与底层设备分离，并且日益成为一种帮助构建更易管理的数据中心的趋势，其中大数据处理已成为应用的重要组成部分。为了并发处理大规模数据，提出了名为 Hadoop 的 MapReduce 开源实现。在实际的 Hadoop 系统中，一种对整体性能产生至关重要影响的问题被称为 NP 完全的最小完工时间问题。一种主要解决方案是将任务分配在数据本地节点上，以避免链路占用，因为网络带宽是一种稀缺资源。已经提出了许多增强数据本地性的方法，例如 HDS 和最先进的调度器 BAR。然而，它们要么忽略了在全局视图下分配任务，要么无视可用带宽作为调度的基础。在本文中，我们提出了一种启发式带宽感知任务调度器 BASS，以将 Hadoop 与 SDN 相结合。它不仅能够在全局视图中保证数据本地性，而且可以以优化的方式高效分配任务。实例和实验均表明，BASS 在作业完成时间方面具有最佳性能。据我们所知，BASS 是首个利用 SDN 潜力进行大数据处理的系统，我们相信它指出了大规模数据处理的新趋势。
引用
@article{arxiv.1403.2800,
title = {Bandwidth-Aware Scheduling with SDN in Hadoop: A New Trend for Big Data},
author = {Peng Qin and Bin Dai and Benxiong Huang and Guan Xu},
journal= {arXiv preprint arXiv:1403.2800},
year = {2014}
}