基于新型网卡端集合消息传递协议的 Quadrics 与 Myrinet 上的高效可扩展 Barrier

现代互连网络的网络接口中通常带有可编程处理器，可用于将通信处理从主机 CPU 卸载。在本文中，我们探索了在网络接口上支持集合操作的不同方案，并提出了一种新的集合协议。以 barrier 作为初始案例研究，我们证明了使用该集合协议可以极大地简化大部分通信处理。因此，基于我们提出的集合处理方案，我们在两种高性能互连网络 Quadrics 和 Myrinet 上设计并实现了高效且可扩展的基于网卡的 barrier 操作。我们的评估表明，在由 8 个节点组成且配备 ELan3 网络的 Quadrics 集群上，基于网卡的 barrier 操作仅实现了 5.60$\mu$s 的 barrier 延迟。该结果相比 Elanlib 基于树的 barrier 操作提升了 2.48 倍。在由 8 个节点组成且配备 LANai-XP 网卡的 Myrinet 集群上，8 个节点间实现了 14.20$\mu$s 的 barrier 延迟。这相比基于主机的 barrier 算法提升了 2.64 倍。此外，为所提方案开发的分析模型表明，在 1024 个节点的集群上，基于网卡的 barrier 操作在 Quadrics 上仅需 22.13$\mu$s 的延迟即可完成，在 Myrinet 上需 38.94$\mu$s 的延迟。这些结果表明了为下一代集群开发高性能通信子系统的潜力。