基于鲁棒深度学习的高光谱图像语义器官分割
图像与视频处理
2022-07-12 v2 计算机视觉与模式识别
机器学习
摘要
语义图像分割是手术中情境感知与自主机器人的重要前提。现有最优方法集中于微创手术后获取的传统 RGB 视频数据，而基于光谱成像数据、且在开放手术中获取的全场景语义分割迄今几乎未受关注。为弥补文献中的这一空白，我们基于开放手术环境下获取的猪高光谱成像（HSI）数据研究以下研究问题：（1）对于基于神经网络的 fully automated 器官分割，尤其是就数据的空间粒度（像素 vs. 超像素 vs. 图像块 vs. 整幅图像）而言，HSI 数据的恰当表示是什么？（2）在执行语义器官分割时，使用 HSI 数据相较于其他模态（即 RGB 数据和处理后的 HSI 数据，例如氧合等组织参数）是否存在优势？根据基于 20 头猪的 506 张 HSI 图像（共标注 19 个类别）开展的全面验证研究，基于深度学习的分割性能在不同模态下均随输入数据的空间上下文增加而提升。未处理的 HSI 数据优于 RGB 数据或相机提供商提供的处理数据，且优势随神经网络输入尺寸的减小而增大。最高性能（HSI 应用于整幅图像）得到平均 DSC 为 0.90（标准差（SD）0.04），处于评分者间变异范围内（DSC 为 0.89（标准差（SD）0.07））。我们得出结论，HSI 可能成为全自动手术场景理解的强大图像模态，相较传统成像具有诸多优势，包括恢复额外功能性组织信息的能力。代码与预训练模型：https://github.com/IMSY-DKFZ/htc。
引用
@article{arxiv.2111.05408,
title = {Robust deep learning-based semantic organ segmentation in hyperspectral images},
author = {Silvia Seidlitz and Jan Sellner and Jan Odenthal and Berkin Özdemir and Alexander Studier-Fischer and Samuel Knödler and Leonardo Ayala and Tim J. Adler and Hannes G. Kenngott and Minu Tizabi and Martin Wagner and Felix Nickel and Beat P. Müller-Stich and Lena Maier-Hein},
journal= {arXiv preprint arXiv:2111.05408},
year = {2022}
}
备注
The first two authors (Silvia Seidlitz and Jan Sellner) contributed equally to this paper