对齐后精炼：基于文本引导的 3D 前列腺病灶分割
计算机视觉与模式识别
2026-04-22 v1
摘要
从双参数 MRI（bp-MRI）中对前列腺病灶进行自动化 3D 分割是实现可靠算法分析的关键挑战，但要实现高精度仍具难度。体积方法必须在保证解剖一致性的前提下融合多模态信息，但当前模型在可靠集成跨模态信息方面仍存在困难。虽然视觉语言模型（VLM）正在取代当前使用的架构设计，但它们仍缺乏针对有效局部指导所需的细粒度、病灶级别的语义。为此，我们提出了一种新的多编码器 U-Net 架构，包含三个关键创新：（1）一种对齐损失，增强前景文本-图像相似度以注入病灶语义；（2）一种热图损失，对相似度图进行校准并抑制伪背景激活；（3）最终阶段的置信门控多头交叉注意力精炼器，在高置信度区域执行局部边界编辑。相位调度训练方案稳定了这些组件的优化。我们的方法在 PI-CAI 数据集上 consistently 超过先前方法，建立了新的最佳结果，通过增强的多模态融合和局部文本指导实现。我们的代码可在 https://github.com/NUBagciLab/Prostate-Lesion-Segmentation 查阅。
引用
@article{arxiv.2604.18713,
title = {Align then Refine: Text-Guided 3D Prostate Lesion Segmentation},
author = {Cuiling Sun and Linkai Peng and Adam Murphy and Elif Keles and Hiten D. Patel and Ashley Ross and Frank Miller and Baris Turkbey and Andrea Mia Bejar and Halil Ertugrul Aktas and Gorkem Durak and Ulas Bagci},
journal= {arXiv preprint arXiv:2604.18713},
year = {2026}
}
备注
Accepted to EMBC 2026