集体通信优化与调优方法综述
分布式、并行与集群计算
2016-11-22 v1
摘要
高性能计算（HPC）技术在多/众核处理器上计算能力增强、高带宽内存/IO 子系统以及通信互连方面的新发展，对软件和运行时系统开发产生了直接影响。这些进步已有助于产生高性能集体通信接口，能在多种平台和环境上高效集成。然而，伴随每项新技术或软件框架出现的众多优化选项，导致了集体参数调优特征空间中的组合爆炸，使得寻找最优参数集成为几乎不可能的任务。可用于优化集体通信的算法选择的适用性很大程度上取决于特定用例的可扩展性需求。在诸如亿亿次计算（exascale computing）等非常大尺度上运行集体问题的任何需求，都可能使该问题进一步恶化，此时通过暴力搜索进行不切实际的调优可能需要数月资源。因此，统计、数据挖掘和人工智能或更一般的混合学习模型的应用，在许多集体参数优化问题中似乎是必不可少的。我们希望探索当前及最前沿的集体通信优化与调优方法，并以针对该问题的可能未来方向作结。
引用
@article{arxiv.1611.06334,
title = {A Survey of Methods for Collective Communication Optimization and Tuning},
author = {Udayanga Wickramasinghe and Andrew Lumsdaine},
journal= {arXiv preprint arXiv:1611.06334},
year = {2016}
}