基于差分变换器深度学习模型融合像素级仪器响应函数以提高荧光寿命参数估计精度
图像与视频处理
2024-12-06 v2 人工智能
机器学习
光学
摘要
荧光寿命成像(FLUORESCENCE LIFETIME IMAGING, FLI)是一种关键的分子成像方式，能够提供关于组织微环境的独特信息，这对于医学研究具有重要价值。FLI 通过获取和分析光子到达时间直方图来提取与时间相关荧光衰减相关的定量参数。这些直方图受到荧光团内在属性、仪器参数以及与样本中像素级拓扑和光学特征相关的时间飞行分布的影响。近期深度学习(DL)技术的发展使得荧光寿命参数估计得到了改进。然而，现有模型主要针对平面表面样本进行设计，限制了其在涉及复杂表面轮廓的翻译场景中的适用性，如体内整体动物或图像引导的手术应用。为此，我们提出了 MFliNet(宏观 FLI 网络)，一种新型深度学习架构，将仪器响应函数(IRF)作为额外输入融入实验光子到达时间直方图。基于差分变换器编码器-解码器架构，MFliNet 能够有效聚焦于关键输入特征，如光子到达时间分布的变化。我们使用严格设计的组织仿生phantoms和前临床体内癌症异质瘤模型对 MFliNet 进行评估。结果表明，该模型在复杂的宏观 FLI 应用中具有良好的鲁棒性，为多样化和具挑战性的医学成像场景提供了新机遇。
引用
@article{arxiv.2411.16896,
title = {Enhancing Fluorescence Lifetime Parameter Estimation Accuracy with Differential Transformer Based Deep Learning Model Incorporating Pixelwise Instrument Response Function},
author = {Ismail Erbas and Vikas Pandey and Navid Ibtehaj Nizam and Nanxue Yuan and Amit Verma and Margarida Barosso and Xavier Intes},
journal= {arXiv preprint arXiv:2411.16896},
year = {2024}
}
备注
11 pages, 4 figures