基于自动生成大规模数据集的指令引导胸部X射线病变分割
计算机视觉与模式识别
2026-03-27 v2
摘要
当前胸部X射线(CXR)病变分割模型的适用性受到目标标签数量少和对复杂、专家级文本输入的依赖的限制，这为实际使用造成了障碍。为了解决这些限制，我们引入了指令引导病变分割(ILS)，这是指称图像分割(RIS)在医学领域的改编，旨在根据简单、用户友好的指令分割不同的病变类型。在此任务下，我们使用我们全自动的多模态流水线，从CXR图像及其对应的报告中生成注释，构建了MIMIC-ILS，这是第一个用于CXR病变分割的大规模指令-答案数据集。MIMIC-ILS包含来自192K张图像和91K个唯一分割掩码的110万对指令-答案对，涵盖了七种主要病变类型。为了实证展示其实用性，我们提出了ROSALIA，一个在MIMIC-ILS数据集上微调的LISA模型。ROSALIA可以分割不同的病变，并根据用户指令提供文本解释。该模型在我们新提出的任务中实现了高精度，突显了我们流水线的有效性以及MIMIC-ILS作为CXR病变像素级定位基础资源的价值。数据集和模型可在 https://github.com/checkoneee/ROSALIA 获取。
引用
@article{arxiv.2511.15186,
title = {Instruction-Guided Lesion Segmentation for Chest X-rays with Automatically Generated Large-Scale Dataset},
author = {Geon Choi and Hangyul Yoon and Hyunju Shin and Hyunki Park and Sang Hoon Seo and Eunho Yang and Edward Choi},
journal= {arXiv preprint arXiv:2511.15186},
year = {2026}
}
备注
Camera-ready version for CVPR 2026