探索在零样本分割 VLMs 中临床因素对提示对齐的影响——以 NSCLC 肿瘤分割为例
计算机视觉与模式识别
2026-05-05 v1
摘要
零样本视觉语言模型 (VLM) 提供了一种可编程的替代方案，用于非小细胞肺癌 (NSCLC) 的肿瘤体积 (GTV) 轮廓化，但其支配空间行为的提示维度仍鲜为人知。我们通过在保留的内部 NSCLC 肿瘤数据集上进行探测，将提示分解为诊断、人口统计、分期、解剖、通用和无关控制；属性相关性扰动；特化梯度；以及跨案例提示置换，同时使用 Dice 相似系数 (DSC) 进行基准测试，采用 Wilcoxon 符号秩检验和 Benjamini-Hochberg 校正。对齐分析显示，解剖位置是 VoxTell 空间注意力的主要驱动因素：63.4% 的位置扰动导致严重下降，提示特化程度从通用到完整描述均有所提升，除诊断唯一提示外，无关提示正确地产生零分割，跨案例提示置换确认了患者特定的条件 (匹配 DSC 0.906 vs. 不匹配 0.406)。组织学和分期替换影响最小，表明该模型优先考虑“在何处寻找”而非“寻找什么”。在此背景下，VoxTell 完全零样本地实现了平均 DSC 为 0.613，与 nnUNet (0.690，调整后 p=0.156) 和 Ahmed 等人 (0.675，调整后 p=0.679) 不可分辨，同时显著优于所有其他零样本模型。综上，这些发现表明，分割 VLM 的评估不仅应关注 Dice，还应关注其对提示维度的对齐情况。
引用
@article{arxiv.2605.01266,
title = {Exploring Prompt Alignment with Clinical Factors in Zero-Shot Segmentation VLMs for NSCLC Tumor Segmentation},
author = {Suraj Pai and Thibault Heintz and Cosmin Ciausu and Marion Tonneau and Hugo Aerts and Raymond Mak},
journal= {arXiv preprint arXiv:2605.01266},
year = {2026}
}