AKGNet:基于属性知识引导的无监督肺部感染区域分割
计算机视觉与模式识别
2024-04-18 v1 人工智能
摘要
肺部感染区域分割对于评估肺部疾病的严重程度至关重要。然而,现有的图像-文本多模态方法通常依赖于耗时的注释来训练模型,这在时间和专业知识方面存在挑战。为了解决这一问题,我们提出了一种新型的属性知识引导框架,用于无监督肺部感染区域分割 (AKGNet),该框架仅基于图像-文本数据而无需任何掩码注释即可实现分割。AKGNet 同时促进文本属性知识学习、属性-图像交叉注意力融合和高置信度伪标签探索。它可以学习统计信息并捕获图像和文本属性在嵌入空间中的空间相关性,迭代细化掩码以增强分割。具体而言,我们通过提取属性知识并将其纳入特征表示中,引入文本属性知识学习模块,使模型能够学习统计信息并适应不同属性。此外,我们构思了一个属性-图像交叉注意力模块,通过在嵌入空间中计算属性和图像之间的相关性来捕获空间依赖信息,从而在选择性地关注相关区域的同时过滤无关区域。最后,采用基于高置信度预测生成伪标签的自训练掩码改进过程,以迭代增强掩码和分割。在医学基准数据集上的实验结果表明,我们的方法在无监督场景下优于最先进的分割技术。
引用
@article{arxiv.2404.11008,
title = {AKGNet: Attribute Knowledge-Guided Unsupervised Lung-Infected Area Segmentation},
author = {Qing En and Yuhong Guo},
journal= {arXiv preprint arXiv:2404.11008},
year = {2024}
}