用于安全关键视图评估的潜图表示

在腹腔镜胆囊切除术中评估安全关键视图（CVS）需要准确识别与定位关键解剖结构、推理它们之间的几何关系，并判定其暴露质量。已有工作将语义分割作为中间步骤，利用预测的分割掩码进而预测 CVS。尽管这些方法有效，但它们依赖极其昂贵的真值分割标注，且当预测分割错误时往往失效，限制了泛化能力。本工作中，我们提出一种 CVS 预测方法：首先将手术图像表示为解耦的潜场景图，随后使用图神经网络处理该表示。我们的图表示显式编码语义信息——物体位置、类别信息、几何关系——以改进解剖驱动的推理，同时保留视觉特征以维持可微性，从而提供对语义错误的鲁棒性。最后，为解决标注成本问题，我们提出仅使用边界框标注训练我们的方法，并引入辅助图像重建目标以学习细粒度物体边界。我们表明，当使用边界框标注训练时，我们的方法不仅优于若干基线方法，而且在使用分割掩码训练时也能有效扩展，保持最先进的性能。