解锁实时荧光寿命成像：基于 FPGA 的多像素并行处理
光学
2024-11-18 v2 人工智能
分布式、并行与集群计算
机器学习
摘要
荧光寿命成像（FLI）是生物医学领域广泛使用的一种技术，用于测量荧光分子的衰减时间，提供关于代谢状态、蛋白质相互作用和配体-受体结合的洞察。然而，其在快速生物过程（如动态活动监测）和临床应用（如手术引导）中的更广泛应用，受到长数据采集时间和计算密集型数据处理的限制。虽然深度学习已减少后处理时间，但时间分辨数据采集仍是实时应用的瓶颈。为此，我们提出一种实现实时 FLI 的方法，采用基于 FPGA 的硬件加速器。具体而言，我们在与时序相机兼容的 FPGA 开发板上实现了一个基于 GRU 的序列到序列（Seq2Seq）模型。GRU 模型在平衡准确处理与 FPGA 资源限制（有限的 DSP 单元和 BRAM）之间起到了关键作用。FPGA 上有限的内存和计算资源要求对操作进行高效调度和内存分配，以在硬件上部署深度学习模型进行低延迟处理。我们通过使用 STOMP，这是一种基于队列的离散事件模拟器，自动优化硬件上的任务调度和内存管理来解决这些挑战。通过集成基于 GRU 的 Seq2Seq 模型及其通过知识蒸馏生成的压缩版本（称为 Seq2SeqLite），我们能够并行处理多个像素，显著减少与顺序处理相比的延迟。我们探索了各种并行度，以实现性能和资源利用之间的最佳平衡。我们的结果表明，所提出的技术相对于手动调度，分别为 Seq2Seq 模型和 Seq2SeqLite 模型实现了 17.7 倍和 52.0 倍的加速。
引用
@article{arxiv.2410.07364,
title = {Unlocking Real-Time Fluorescence Lifetime Imaging: Multi-Pixel Parallelism for FPGA-Accelerated Processing},
author = {Ismail Erbas and Aporva Amarnath and Vikas Pandey and Karthik Swaminathan and Naigang Wang and Xavier Intes},
journal= {arXiv preprint arXiv:2410.07364},
year = {2024}
}
备注
7 pages, 6 figures