利用文本解剖知识实现类别不平衡半监督多器官分割
计算机视觉与模式识别
2025-03-28 v2
摘要
标注3D医学图像需要大量时间和专业知识，推动了半监督学习（SSL）在分割任务中的采用。然而，器官的复杂解剖结构常导致显著的类别不平衡，这在实际场景中为SSL的部署带来了重大挑战。尽管存在有价值的先验信息，如器官间相对位置和器官形状先验，但现有SSL方法尚未充分利用这些信息。为解决这一问题，本文提出了一种新方法，将文本解剖知识（TAK）集成到分割模型中。具体而言，我们使用GPT-4o生成解剖先验的文本描述，然后通过基于CLIP的模型进行编码。这些编码后的先验被注入分割模型作为分割头的参数。此外，还采用对比学习来增强文本先验与视觉特征之间的对齐。广泛的实验表明，我们的方法性能显著优于最先进的方法。源代码将在https://github.com/Lunn88/TAK-Semi 上公开。
引用
@article{arxiv.2501.13470,
title = {Leveraging Textual Anatomical Knowledge for Class-Imbalanced Semi-Supervised Multi-Organ Segmentation},
author = {Yuliang Gu and Weilun Tsao and Bo Du and Thierry Géraud and Yongchao Xu},
journal= {arXiv preprint arXiv:2501.13470},
year = {2025}
}
备注
11 pages