MedVeriSeg：无需额外训练教育 MLLM 医学分割模型验证查询有效性
计算机视觉与模式识别
2026-04-15 v2
摘要
尽管近期在 MLLM 医学图像分割取得了进展，类 LISA 方法仍无法可靠地否定虚假查询，常为不存在的目标生成幻觉分割掩码。这一局限削弱了在医学教育及临床应用中的实际可靠性。本文提出 MedVeriSeg，一种无需训练的验证框架，为 LISA 类医学分割模型提供识别并否定虚假查询（即包含不存在目标的查询）的能力。我们的关键观察是，[SEG] 标记特征与 MLLM 图像特征之间的相似度图，在真实查询与虚假查询之间呈现显著不同的分布模式。基于此，我们引入相似度响应质量评分模块，从强度、紧凑性和纯净度三个维度刻画相似度图，生成初始的目标存在预测。我们进一步利用 GPT-4o 对相似度热图与相似度响应质量评分模块的结果进行联合评估，以实现最终验证。实验在由 SA-Med2D-20M 构建的小规模基准数据集上表明，MedVeriSeg 有效否定虚假查询的分割请求，同时可靠地识别真实查询。
引用
@article{arxiv.2604.10242,
title = {MedVeriSeg: Teaching MLLM-Based Medical Segmentation Models to Verify Query Validity Without Extra Training},
author = {Ziqian Lu and Qinyue Tong and Jun Liu and Yunlong Yu},
journal= {arXiv preprint arXiv:2604.10242},
year = {2026}
}
备注
7 pages, 4 figures; the paper is under consideration at Pattern Recognition Letters