面向医学短语定位的解剖学 grounding 预训练
计算机视觉与模式识别
2025-02-25 v1
摘要
医学短语定位 (MPG) 将医学报告中描述的放射学发现映射到医学图像中的特定区域. MPG 进程的主要障碍在于可用于训练和验证的标注数据的稀缺. 我们提出一种解剖学 grounding 作为领域内预训练任务, 通过利用 Chest ImaGenome 等大规模数据集将解剖学术语与医学图像中的对应区域对齐. 我们在 MS-CXR 上进行的经验评估表明, 解剖学 grounding 预训练显著提高了在零样本学习与微调设置下的 MPG 性能, 超越了最先进的 MPG 模型. 我们微调后的模型在 MS-CXR 上实现了最先进的性能, mIoU 为 61.2, 证明了解剖学 grounding 预训练对 MPG 的有效性.
关键词
引用
@article{arxiv.2502.16585,
title = {Anatomical grounding pre-training for medical phrase grounding},
author = {Wenjun Zhang and Shakes Chandra and Aaron Nicolson},
journal= {arXiv preprint arXiv:2502.16585},
year = {2025}
}