用于手术室中临床医生姿态估计与实例分割的无监督域适应
计算机视觉与模式识别
2022-07-01 v4
摘要
临床医生在手术室中的细粒度定位是设计新一代手术室支持系统的关键组成部分。需要用于基于像素的人员分割和身体关键点检测的计算机视觉模型，以更好地理解临床活动和手术室的布局。这极具挑战性，不仅因为手术室图像与传统视觉数据集差异很大，还由于隐私问题，手术室中的数据和标注难以收集和生成。为了解决这些问题，我们首先研究如何在下采样因子从 1x 到 12x 的低分辨率图像上联合执行人员姿态估计和实例分割。其次，为了解决域偏移和缺乏标注的问题，我们提出了一种新颖的无监督域适应方法，称为 AdaptOR，将模型从野外标记源域适应到统计上不同的未标记目标域。我们提出在未标记目标域图像的不同增强上利用显式几何约束，以生成准确的伪标签，并在自训练框架中使用这些伪标签在高分辨率和低分辨率手术室图像上训练模型。此外，我们提出了解耦特征归一化，以处理统计上不同的源域和目标域数据。在两个手术室数据集 MVOR+ 和 TUM-OR-test 上进行的广泛实验结果和详细消融研究表明，我们的方法针对构建的强基线非常有效，尤其是在低分辨率隐私保护的手术室图像上。最后，我们展示了我们的方法作为半监督学习方法在大规模 COCO 数据集上的通用性，在使用仅 1% 的标记监督下，取得了与使用 100% 标记监督训练的模型相当的结果。
引用
@article{arxiv.2108.11801,
title = {Unsupervised domain adaptation for clinician pose estimation and instance segmentation in the operating room},
author = {Vinkle Srivastav and Afshin Gangi and Nicolas Padoy},
journal= {arXiv preprint arXiv:2108.11801},
year = {2022}
}
备注
Accepted at Elsevier Journal of Medical Image Analysis. Code is available at https://github.com/CAMMA-public/HPE-AdaptOR. Supplementary video is available at https://youtu.be/gqwPu9-nfGs