基于二元矩阵的低复杂度分布式计算及其在掉队者场景的扩展

我们考虑由 Map、Shuffle 和 Reduce 三阶段组成的 MapReduce 分布式计算框架。针对该框架，我们提出使用称为计算矩阵的二元矩阵（元素为 $0,1$）来描述 Map 阶段与 Shuffle 阶段。类似二元矩阵近期已被提出用于编码缓存框架。计算矩阵中 1 与 0 的结构刻画了 MapReduce 框架的 Map 阶段。我们针对该二元矩阵模型提出了一种基于计算矩阵的单位子矩阵覆盖的新型简单编码数据混洗方案。该新编码混洗方案通信负载一般大于现有方案，但相较于文献中著名的早期方案，在文件分割及所需的关联索引与协调方面具有更低复杂度开销的优势。我们还证明，存在一种基于二元矩阵、采用新数据混洗方案的分布式计算方案，其通信负载严格小于文献中已知最优方案的两倍。该新方案的结构使其可直接应用于含掉队者的 MapReduce 框架，并沿用无掉队者情形下的优缺点。最后，利用组合设计导出的二元矩阵，我们给出了具有极低文件复杂度（文件中子文件数）的特定类计算方案，其通信负载相较同等参数下最优方案仅边际增高。