将循环神经网络耦合至 SPAD TCSPC 系统以实现实时荧光寿命成像
图像与视频处理
2025-11-10 v2 计算机视觉与模式识别
神经元与认知
摘要
荧光寿命成像（FLI）近年来作为生物与医学研究中一种强大的诊断技术受到越来越多的关注。然而，现有 FLI 系统常在处理速度、精度与鲁棒性之间存在权衡。本文提出一种鲁棒方法，可实现快速 FLI 且不降低精度。该方法基于一个耦合至循环神经网络（RNN）的 SPAD TCSPC 系统，RNN 直接从原始时间戳准确估计荧光寿命而无需构建直方图，从而大幅减少传输数据量与硬件资源占用，实现视频帧率的 FLI 采集。我们在合成数据集上训练了两种 RNN 变体，并将结果与质心法（CMM）和最小二乘拟合（LS fitting）进行比较。结果表明，两种 RNN 变体——门控循环单元（GRU）和长短期记忆（LSTM）——在精度上与 CMM 和 LS fitting 相当，而在背景噪声方面大幅优于它们。为探索该方法的极限，我们推导了测量的克拉美-罗下界，表明 RNN 给出的寿命估计具有近最优精度。此外，我们完全在合成数据集上训练的 FLI 模型，对前所未见的实际数据也能良好工作。为演示实时运行，我们基于本实验室开发的 32x32 SPAD 传感器 Piccolo 搭建了一台 FLI 显微镜。四个量化 GRU 核部署于 Xilinx Kintex-7 FPGA 上，每秒可处理多达 400 万光子。在 GRU 驱动下，该 FLI 装置能以最高每秒 10 帧的速度恢复实时荧光寿命图像。所提出的 FLI 系统前景广阔，非常适用于生物医学应用。
引用
@article{arxiv.2306.15599,
title = {Coupling a Recurrent Neural Network to SPAD TCSPC Systems for Real-time Fluorescence Lifetime Imaging},
author = {Yang Lin and Paul Mos and Andrei Ardelean and Claudio Bruschini and Edoardo Charbon},
journal= {arXiv preprint arXiv:2306.15599},
year = {2025}
}