面向多样潜在结果的基于大视觉语言模型的提示引导灵活病理分割 (PFPs)
计算机视觉与模式识别
2024-07-16 v1
摘要
视觉基础模型最近在医学图像分析中受到关注。其零样学习能力加速了 AI 的部署，并增强了临床应用的通用性。然而，病理图像分割具有特定的灵活性要求。例如，对整块组织切片图像 (WSI) 单次点击可能表示单个细胞、功能单元或层次，增加了分割任务的复杂性。当前模型主要预测潜在结果，但缺乏针对医生输入所需的灵活性。本文通过在大型语言模型 (LLM) 中引入各种任务提示，探索了增强分割模型灵活性的潜力。我们的贡献包括四方面：(1) 我们构建了一个计算高效的管道，使用微调的语言提示引导灵活的多类分割；(2) 我们比较了固定提示与自由文本的分割性能；(3) 我们设计了一个多任务肾脏病理分割数据集和相应的各种自由文本提示；(4) 我们在肾脏病理数据集上评估了我们的方法，评估其在推理期间应对新案例的能力。
引用
@article{arxiv.2407.09979,
title = {PFPs: Prompt-guided Flexible Pathological Segmentation for Diverse Potential Outcomes Using Large Vision and Language Models},
author = {Can Cui and Ruining Deng and Junlin Guo and Quan Liu and Tianyuan Yao and Haichun Yang and Yuankai Huo},
journal= {arXiv preprint arXiv:2407.09979},
year = {2024}
}