BiCLIP：面向稳健医学图像分割的双向一致语言-图像处理
计算机视觉与模式识别
2026-03-03 v1
摘要
医学图像分割是计算机辅助诊断和治疗规划的基石。虽然最近的多模态视觉-语言模型在通过文本描述增强语义理解方面显示出前景，但其在“野生”临床环境中的韧性——该环境以稀缺标注和硬件引起的图像退化为特征——仍未充分探索。我们提出了BiCLIP（Bidirectional and Consistent Language-Image Processing），一个旨在增强医学分割韧性的框架。BiCLIP具备双向多模态融合机制，使视觉特征能够迭代细化文本表示，确保语义对齐。为进一步稳定学习，我们实现了一个数据增强一致性目标，对抗扰动输入视图的中间表示进行正则化。在QaTa-COV19和MosMedData+基准测试上进行评估，结果表明BiCLIP持续超过了最先进的图像-only和多模态基线。值得注意的是，BiCLIP在仅使用1%标注数据进行训练时仍能保持高性能，并对临床伪影（包括运动模糊和低剂量CT噪声）表现出显著的抗性。
引用
@article{arxiv.2603.00156,
title = {BiCLIP: Bidirectional and Consistent Language-Image Processing for Robust Medical Image Segmentation},
author = {Saivan Talaei and Fatemeh Daneshfar and Abdulhady Abas Abdullah and Mustaqeem Khan},
journal= {arXiv preprint arXiv:2603.00156},
year = {2026}
}