基于深度学习的高光谱图像校正与解混用于脑肿瘤手术

用于荧光引导脑肿瘤切除的高光谱成像（HSI）能够可视化人眼无法区分的组织差异。这种增强可以最大化脑肿瘤切除，改善患者预后。然而，HSI中的许多处理使用简化的线性方法，无法捕捉必须建模以准确恢复荧光团丰度的非线性、波长相关现象。因此，我们提出了两个用于校正和解混的深度学习模型，它们能够考虑非线性效应并产生更准确的丰度估计。两个模型都使用类似自编码器的架构来处理捕获的光谱。一个模型使用原卟啉IX（PpIX）浓度标签进行训练。另一个模型进行半监督训练，首先自监督学习高光谱解混，然后使用参考白光反射光谱以少样本方式学习校正荧光发射光谱以应对异质光学和几何特性。这些模型在已知PpIX浓度的体模和猪脑数据上进行了评估；监督模型在已知和计算出的PpIX浓度之间分别达到了0.997和0.990的皮尔逊相关系数（R值），而经典方法仅达到0.93和0.82。半监督方法的R值分别为0.98和0.91。在人类数据上，半监督模型在定性上比经典方法给出更真实的结果，更好地去除镜面反射的亮点，并减少在应相对均匀的活检区域中PpIX丰度的方差。这些结果表明，使用深度学习改善荧光引导神经外科中的HSI具有前景。