用于高光谱图像去马赛克、光谱校正与高分辨率RGB重建的深度学习方法
图像与视频处理
2021-12-02 v1 计算机视觉与模式识别
摘要
高光谱成像是术中组织表征最有前景的技术之一。快照马赛克相机可在单次曝光中捕获高光谱数据，有潜力实现用于手术决策的实时高光谱成像系统。然而，对捕获数据的最优利用需要求解一个不适定的去马赛克问题，并施加额外的光谱校正以恢复图像的空间与光谱信息。在本工作中，我们提出一种基于深度学习的快照高光谱图像去马赛克算法，采用监督学习方法。由于缺乏公开可用的由快照马赛克相机采集的医学图像，我们提出一种合成图像生成方法，从现有由高分辨率但较慢的高光谱成像设备捕获的医学图像数据集中模拟快照图像。图像重建使用卷积神经网络实现高光谱图像超分辨率，随后使用传感器特定的校准矩阵进行串扰与泄漏校正。所得去马赛克图像在定量与定性上均进行了评估，显示出相比使用线性插值的基线去马赛克方法在图像质量上的明显提升。此外，对于最先进的快照马赛克相机，我们的算法获取每图像帧的超分辨率RGB或氧合饱和度图的处理时间快至约45\,ms，展示了其无缝集成到实时手术高光谱成像应用中的潜力。
引用
@article{arxiv.2109.01403,
title = {Deep Learning Approach for Hyperspectral Image Demosaicking, Spectral Correction and High-resolution RGB Reconstruction},
author = {Peichao Li and Michael Ebner and Philip Noonan and Conor Horgan and Anisha Bahl and Sebastien Ourselin and Jonathan Shapey and Tom Vercauteren},
journal= {arXiv preprint arXiv:2109.01403},
year = {2021}
}