MediSee：基于推理的医学图像像素级感知
计算机视觉与模式识别
2025-04-24 v2 人工智能
摘要
尽管像素级医学图像感知取得了显著进展，现有方法要么局限于特定任务，要么严重依赖准确的边界框或文本标签作为输入提示。然而，所需的医学知识对普通用户来说是巨大的障碍，大大降低了这些方法的普适性。与这些专业化的辅助信息相比，普通用户倾向于依赖口语查询，这需要逻辑推理。在本文中，我们提出一种新型医学视觉任务：医学推理分段与检测（MedSD），旨在理解关于医学图像的隐式查询，并为目标对象生成相应的分段掩码和边界框。为实现此任务，我们首先引入一个多视角、逻辑驱动的医学推理分段与检测（MLMR-SD）数据集，包含大量医学实体目标及其对应的推理。此外，我们提出MediSee，一个用于医学推理分段与检测的有效基线模型。实验结果表明，所提方法能够有效解决隐式口语查询下的MedSD任务，并优于传统医学指代分段方法。
引用
@article{arxiv.2504.11008,
title = {MediSee: Reasoning-based Pixel-level Perception in Medical Images},
author = {Qinyue Tong and Ziqian Lu and Jun Liu and Yangming Zheng and Zheming Lu},
journal= {arXiv preprint arXiv:2504.11008},
year = {2025}
}
备注
10 pages, 6 figures