用于正则化膝关节镜语义分割的自监督深度估计
图像与视频处理
2020-07-08 v1 计算机视觉与模式识别
摘要
术中膝关节结构的自动语义分割可在态势感知方面辅助医生进行膝关节镜手术。然而，由于成像条件差（如低纹理、过曝光等），自动语义分割是一项具有挑战性的场景，这也解释了该主题文献稀少的原因。本文提出一种新颖的自监督单目深度估计，用于正则化膝关节镜中语义分割的训练。为了进一步正则化深度估计，我们提出使用立体关节镜拍摄的常规物体干净训练图像（不呈现任何差成像条件且富含纹理信息）来预训练模型。我们将该模型微调，以利用膝关节内拍摄的立体关节镜图像同时生成语义分割与自监督单目深度。使用一个包含3868张尸检膝关节镜语义分割标注图像、2000对尸检膝关节镜立体图像对以及2150对常规物体立体图像对的数据集，我们表明，由自监督深度估计正则化的语义分割比仅用语义分割标注建模的先进语义分割方法产生更精确的分割。
引用
@article{arxiv.2007.02361,
title = {Self-supervised Depth Estimation to Regularise Semantic Segmentation in Knee Arthroscopy},
author = {Fengbei Liu and Yaqub Jonmohamadi and Gabriel Maicas and Ajay K. Pandey and Gustavo Carneiro},
journal= {arXiv preprint arXiv:2007.02361},
year = {2020}
}
备注
10 pages, 6 figures