压缩循环神经网络用于荧光寿命成像的 FPGA 加速实现
图像与视频处理
2024-10-03 v1 机器学习
定量方法
摘要
荧光寿命成像（FLI）是研究细胞环境和分子相互作用的重要技术，但其实时应用受到数据采集缓慢的限制，这需要捕获大型时间分辨图像并使用迭代拟合算法进行复杂的后处理。深度学习（DL）模型能够实现实时推理，但由于复杂的架构和大型矩阵运算，计算量可能很大。这使得 DL 模型不适合直接部署在基于现场可编程门阵列（FPGA）的相机硬件上。因此，模型压缩对于实时推理生成的实际部署至关重要。在这项工作中，我们专注于压缩循环神经网络（RNN），它非常适合 FLI 时间序列数据处理，以便部署在资源受限的 FPGA 板上。我们对各种压缩技术进行了实证评估，包括权重缩减、知识蒸馏（KD）、训练后量化（PTQ）和量化感知训练（QAT），以在保持推理精度的同时减小模型大小和计算负载。我们压缩后的 RNN 模型 Seq2SeqLite 在计算效率和预测精度之间取得了平衡，尤其是在 8 位精度下。通过应用 KD，模型参数大小减少了 98%，同时保持了性能，使其适用于在数据采集期间在 FPGA 上进行并发实时 FLI 分析。这项工作代表了向集成硬件加速的实时 FLI 分析以研究快速生物过程迈出的一大步。
引用
@article{arxiv.2410.00948,
title = {Compressing Recurrent Neural Networks for FPGA-accelerated Implementation in Fluorescence Lifetime Imaging},
author = {Ismail Erbas and Vikas Pandey and Aporva Amarnath and Naigang Wang and Karthik Swaminathan and Stefan T. Radev and Xavier Intes},
journal= {arXiv preprint arXiv:2410.00948},
year = {2024}
}
备注
8 pages, 2 figures