ExaNeSt原型：基于ARM的多FPGA机架中高效HPC通信硬件评估

我们展示并评估了ExaNeSt原型，这是一个液冷机架原型，由256块Xilinx ZU9EG MPSoC、4 TBytes DRAM、16 TBytes SSD以及可配置互连的10-Gbps硬件组成。我们在2016至2019年间开发该测试床，以验证FPGA在面向万级处理器与加速器高效HPC通信硬件支持实验中的灵活性，助力迈向E级（Exascale）及更先进系统。我们给出了关于整体系统架构、PCB与运行时软件的关键设计选择，并总结了测量与分析所得的见解。尤其值得注意的是，我们的定制互连包含低成本低延迟网络接口，提供用户级零拷贝RDMA，并已与MPSoC中的ARMv8处理器紧密耦合。我们基于这些特性开发了系统软件运行时，并成功运行了MPI。我们通过MPI微基准测试、迷你及完整MPI应用对该测试床进行了评估。单跳单向延迟为$1.3$~$\mu$s；其中约$0.47$~$\mu$s归因于网络接口及向运行时暴露其功能的用户空间库。更长路径上的延迟按预期增加，五跳路径达$2.55$~$\mu$s。带宽测试显示，单跳链路利用率达理论容量的$82\%$。基于MPI集合通信的微基准表明，广播延迟随参与秩数量增加按预期扩展。我们还在网络接口中实现了定制Allreduce加速器，将此类集合通信延迟降低至多$88\%$。我们通过HPCG、LAMMPS与miniFE迷你应用的弱缩放与强缩放测试评估性能扩展性；所有这些测试中并行效率至少达$69\%$或更高。