面向编码单光子信号处理的设备内学习与可重构硬件实现

深度神经网络(DNN)提高了从单光子探测器记录的时分辨光子到达信号中重建关键参数的准确率和效率。然而，常规基于反向传播的DNN性能高度依赖于光学 setup 和受检生物样本的各种参数， necessitating frequent network retraining，通过迁移学习或从零开始。新收集的数据也必须存储并传输到高性能GPU服务器进行重新训练，这引入了延迟和存储开销。为此，我们提出一种基于单侧Jacobi旋转的在线顺序极端学习机(OSOS-ELM)的在线训练算法。我们充分利用在集成ARM内核的异构FPGA上执行OSOS-ELM的并行性。对OSOS-ELM和OSELM进行大规模评估表明，两者在不同网络维度(即输入、隐藏和输出层)上实现可比的准确率，而OSOS-ELM更具硬件效率。通过利用OSOS-ELM的并行性，我们实现了一个集成多核CPU和可编程逻辑织构的整体计算原型，基于Xilinx ZCU104 FPGA。我们通过三项案例研究验证了该方法：使用商业单光子LiDAR的雾中探测、FLIM中的荧光寿命估计、DCS中的血流指数重建，全部利用来自光子信号的一维数据编码。从硬件角度看，我们通过在ARM CPU核心上进行多任务处理以及在FPGA的逻辑织构上进行流水线化来优化OSOS-ELM的工作负载。我们还在NVIDIA Jetson Xavier NX GPU上实现了OSOS-ELM，以全面探究其在另一种异构计算平台上的计算性能。