理解异步众多任务系统的通信需求——HPX+LCI 的案例研究
分布式、并行与集群计算
2025-03-18 v1
摘要
异步众多任务（Asynchronous Many-Task，AMT）系统为在极端规模异构架构上高效编程复杂科学应用提供了潜在解决方案。然而，它们与传统批量同步并行（Bulk-Synchronous Parallel，BSP）应用的通信需求不同，这给底层通信库带来了新挑战。本工作通过对真实 AMT 系统 HPX 的案例研究，系统性地研究 AMT 的通信需求，并探讨如何构建更满足其需求的通信库。我们首先检查其通信堆栈布局，形式化底层通信库需要支持的通信抽象。随后分析其当前的 MPI 后端（ parcelport），并识别四类在 BSP 模型中不典型且未被 MPI 标准充分覆盖的需求。为弥合这些差距，我们从原生网络层设计，纳入各种技术，包括单边通信、基于队列的完成通知、显式推进以及不同资源争用缓解方式，构建新的 LCI parcelport。总体而言，结果 LCI parcelport 在微基准测试中相较现有 MPI parcelport 最高可提升 50 倍，在真实应用中提升 2 倍。将其作为测试平台，我们设计 LCI parcelport 变体来量化每项技术的性能贡献。本工作结合概念分析与实验结果，为未来通信库和 AMT 通信层的开发提供实用指导指南。
引用
@article{arxiv.2503.12774,
title = {Understanding the Communication Needs of Asynchronous Many-Task Systems -- A Case Study of HPX+LCI},
author = {Jiakun Yan and Hartmut Kaiser and Marc Snir},
journal= {arXiv preprint arXiv:2503.12774},
year = {2025}
}