基于条件生成对抗网络的从RGB图像与稀疏高光谱信号估计组织氧饱和度
计算机视觉与模式识别
2019-05-20 v2 图像与视频处理
摘要
目的：组织氧饱和度（StO2）的术中测量在缺血检测、灌注监测和疾病识别中十分重要。高光谱成像（HSI）测量组织的光学反射光谱并利用该信息量化其组成，包括StO2。然而，由于采集速率和数据处理时间，实时监测较为困难。方法：此前已开发一种基于多光纤探针的内窥镜系统，用于稀疏采集HSI数据（sHSI）。这些数据通过深度神经网络与RGB图像结合，生成高分辨率高光谱立方体并计算StO2。为提高精度和 processing 速度，我们提出一种双输入条件生成对抗网络（cGAN），Dual2StO2，通过融合来自RGB和sHSI的特征直接估计StO2。结果：在活体猪肠数据上进行了验证实验，其中真实StO2由HSI相机生成。还在平均StO2预测精度和结构性相似度指标方面与我们先前的超光谱分辨率网络SSRNet进行了比较。Dual2StO2还使用具有不同光纤数量的模拟探针数据进行了测试。结论：Dual2StO2估计的StO2在整体结构上视觉上更接近真实值，比SSRNet实现了更高的预测精度和更快的处理速度。模拟显示，当探针中使用更多光纤时结果改善。未来工作将包括网络架构的优化、基于模拟结果的硬件优化，以及在StO2估计之外的临床应用评估。
引用
@article{arxiv.1905.00391,
title = {Estimation of Tissue Oxygen Saturation from RGB images and Sparse Hyperspectral Signals based on Conditional Generative Adversarial Network},
author = {Qingbiao Li and Jianyu Lin and Neil T. Clancy and Daniel S. Elson},
journal= {arXiv preprint arXiv:1905.00391},
year = {2019}
}