用于高光谱去马赛克无监督学习的空间梯度一致性：在手术成像中的应用
图像与视频处理
2023-03-27 v1 计算机视觉与模式识别
机器学习
摘要
如果以实时和高分辨率进行组织表征，高光谱成像有潜力改善术中决策。高光谱快照马赛克传感器因其快速采集速度和紧凑尺寸而提供了一种有前景的方法。然而，需要去马赛克算法来完整恢复快照图像的空间和光谱信息。大多数最先进的去马赛克算法需要具有配对的快照和高分辨率高光谱图像的地面真值训练数据，但在术中环境中物理上不可能获取具有完全相同场景的此类图像对。在这项工作中，我们提出了一种完全无监督的高光谱图像去马赛克算法，其仅需要示例快照图像用于训练。我们将高光谱去马赛克视为一个病态线性逆问题，并使用深度神经网络求解。我们利用自然场景中出现的光谱相关性来设计一种基于空间梯度一致性的新颖谱间带正则化项。通过将我们提出的项与标准正则化技术结合并利用标准数据保真项，我们获得了用于训练深度神经网络的无监督损失函数，使我们能够实现实时高光谱图像去马赛克。在高光谱图像数据集上的定量结果表明，我们的无监督去马赛克方法可以达到与其有监督对应方法相似的性能，并显著优于线性去马赛克。对真实快照高光谱手术图像的定性用户研究证实了定量分析的结果。我们的结果表明，所提出的无监督算法可以实时实现有前景的高光谱去马赛克，从而提升该模态在术中使用的适用性。
引用
@article{arxiv.2302.10927,
title = {Spatial gradient consistency for unsupervised learning of hyperspectral demosaicking: Application to surgical imaging},
author = {Peichao Li and Muhammad Asad and Conor Horgan and Oscar MacCormac and Jonathan Shapey and Tom Vercauteren},
journal= {arXiv preprint arXiv:2302.10927},
year = {2023}
}