结合结构引导的文本驱动弱监督 OCT 病灶分割

光学相干断层扫描（OCT）图像的精确分割对于诊断和监测视网膜疾病至关重要。然而，像素级标注的劳动密集型特性限制了对大型数据集进行监督学习的可扩展性。弱监督语义分割（WSSS）通过使用较弱形式的监督（如图像级标签）来减轻标注负担，提供了一种有前景的替代方案。尽管具有优势，但弱监督本身携带的信息有限。我们提出了一种仅使用图像级标签进行 OCT 病灶分割的新型 WSSS 框架，该框架整合了结构引导和文本驱动引导，以生成高质量的像素级伪标签。该框架采用两个视觉处理模块：一个处理原始 OCT 图像，另一个在增强了异常信号的层分割图上操作，使模型能够将病灶与其对应的解剖层相关联。作为这些视觉线索的补充，我们利用大规模预训练模型提供两种形式的文本引导：编码局部语义的标签衍生描述，以及领域无关的合成描述（尽管以自然图像术语表达，但捕获了对生成全局一致表示有用的空间和关系语义）。通过在多模态框架中融合这些视觉和文本特征，我们的方法将语义含义与结构相关性对齐，从而提高了病灶定位和分割性能。在三个 OCT 数据集上的实验展示了 SOTA 结果，突显了其提升医学成像诊断准确性和效率的潜力。