利用网络丢包进行分布式近似计算：NetApprox
网络与互联网体系结构
2022-07-01 v2
摘要
许多数据中心应用（如机器学习和大数据分析）无需处理完整数据集即可完成分析。尽管已在硬件、编程语言和应用层面提出了大量近似感知优化，但迄今为止，近似计算优化忽略了网络层。我们提出 NetApprox，据我们所知，它是首个由传输层协议、网络资源分配方案以及调度/优先级分配策略组成的近似感知网络层。基于近似应用可容忍丢包这一观察，NetApprox 的主要思路是积极发送近似流量（从而提升近似应用性能）并最小化分配给近似流量的网络资源（这同时限制了激进近似流量的影响，并释放出资源，进而提升非近似应用的性能）。我们将 Flink、Kafka、Spark 和 PyTorch 移植到 NetApprox，并通过大规模仿真和真实实现对其进行了评估。评估结果表明，与忽略网络的近似方案相比，NetApprox 将作业完成时间最多缩短 80%，并将并发运行的非近似工作负载性能提升 79%。
引用
@article{arxiv.1901.01632,
title = {Exploiting Network Loss for Distributed Approximate Computing with NetApprox},
author = {Ke Liu and Jinmou Li and Shin-Yeh Tsai and Theophilus Benson and Yiying Zhang},
journal= {arXiv preprint arXiv:1901.01632},
year = {2022}
}