FPGA 加速的 SpeckleNN 配合 SNL 实现 X 射线单粒子成像的实时
仪器与探测器
2025-02-28 v1 机器学习
图像与视频处理
摘要
我们在 FPGA 上实现了一个针对 X 射线单粒子成像（SPI）中光斑图分类的专用版本的 SpeckleNN 模型，采用 SLAC 神经网络库（SNL）实现。该硬件针对高吞吐量 X 射线自由电子激光（XFEL）设施（如 Linac Coherent Light Source, LCLS）中的检测器附近进行推断优化。为适应 FPGA 限制，我们优化了 SpeckleNN，将参数从 5.6M 减少到 64.6K（降低 98.8%），准确率达 90%。我们还将潜在空间从 128 压缩到 50 维。在 KCU1500 FPGA 上部署时，该模型使用了 71% 的 DSPs、75% 的 LUTs 和 48% 的 FFs，平均功耗为 9.4W。FPGA 在 200 MHz 下实现 45.015 微秒的推断延迟。而在 NVIDIA A100 GPU 上，相同的推断约消耗 73W，延迟为 400 微秒。我们的 FPGA 版本在加速度和功率方面分别实现了 8.9 倍和 7.8 倍的提升。关键创新包括模型专业化和通过 SNL 实现的动态权重加载，消除了耗时的 FPGA 重新综合，从而实现对 (re)训练模型的快速、持续的部署。这些创新使 SpeckleNN 能够实现实时自适应分类和高效的光斑图抑制，使其成为 XFEL 设施的理想选择。该实现加速了 SPI 实验，并提高了对动态条件的适应性。
引用
@article{arxiv.2502.19734,
title = {FPGA-Accelerated SpeckleNN with SNL for Real-time X-ray Single-Particle Imaging},
author = {Abhilasha Dave and Cong Wang and James Russell and Ryan Herbst and Jana Thayer},
journal= {arXiv preprint arXiv:2502.19734},
year = {2025}
}