FLCD：一种灵活的低复杂度编码分布式计算设计

我们提出了一种灵活的低复杂度编码分布式计算（CDC）设计（FLCD），并在 Amazon Elastic Compute Cloud（Amazon EC2）上进行了实证评估。CDC 可通过增加 map 计算来减少通信负载与 shuffle 时间，从而加速类 MapReduce 计算。FLCD 的主要新颖之处在于利用定义 map 与 reduce 函数的设计自由度，开发渐近齐次系统，以在通用 MapReduce 框架下支持变化的中间值（IV）大小。与具有恒定 IV 大小的现有设计相比，FLCD 在适应网络参数方面提供了更大灵活性，并通过要求更少的输入文件与 shuffle 组显著降低了实现复杂度。FLCD 方案是首个可运行于任意节点数与计算负载网络上的低复杂度 CDC 设计。我们通过在 Amazon EC2 集群上执行 TeraSort 算法对 FLCD 进行实证评估。这是首次通过实证评估验证 CDC shuffle 时间的理论预测。评估显示出相较传统无编码 MapReduce 有 2.0 至 4.24 倍加速、总时间减少 12% 至 52%，且相较现有 CDC 方案具有更宽的运行网络参数范围。