基于下一标记掩码预测的医学指称图像分割
计算机视觉与模式识别
2025-11-10 v1
摘要
医学指称图像分割(MRIS)涉及根据自然语言描述对医学图像中的目标区域进行分割。虽然已取得令人鼓舞的成果，但最近的方法通常涉及复杂的多模态融合或多阶段解码器设计。本文提出了 NTP-MRISeg，一种新型框架，将 MRIS 重新表述为对统一多模态序列(即分词化后的图像、文本和掩码表示)进行自回归下一标记预测任务。该表述通过消除模态特定融合和外部分割模型的需求，简化了模型设计，支持端到端训练的统一体系结构。更重要的是，为了解决该表述下的挑战——例如暴露偏差、长尾标记分布和细粒度肿瘤边界——我们提出了三种新策略：(1) 下一k标记预测(NkTP)方案以减少累积预测误差；(2) 标记级对比学习(TCL)以增强边界灵敏性并缓解长尾分布效应；(3) 基于记忆的硬错误标记(HET)优化策略在训练期间强调难以处理的标记。在 QaTa-COV19 和 MosMedData+ 数据集上的大量实验表明，NTP-MRISeg 实现了新的状态-最佳性能，为传统 MRIS 管道提供了简洁且高效的替代方案。
引用
@article{arxiv.2511.05044,
title = {Medical Referring Image Segmentation via Next-Token Mask Prediction},
author = {Xinyu Chen and Yiran Wang and Gaoyang Pang and Jiafu Hao and Chentao Yue and Luping Zhou and Yonghui Li},
journal= {arXiv preprint arXiv:2511.05044},
year = {2025}
}
备注
This work has been submitted to the IEEE Transactions on Medical Imaging for possible publication