UniSeg：一种提示驱动的通用分割模型及强表征学习器
计算机视觉与模式识别
2023-04-10 v1
摘要
通用模型作为医学图像分割的一种有前景的趋势而出现，为构建医学影像大模型（MILM）铺平了道路。构建通用模型的一个流行策略是将每个任务编码为独热向量，并在解码器末端生成动态卷积层以提取感兴趣目标。尽管成功，它忽略了任务间的关联，且过晚使模型“感知”正在进行中的任务。为解决这两个问题，我们提出一种提示驱动的通用分割模型（UniSeg），用于跨模态与跨域的多任务医学图像分割。我们首先设计可学习的通用提示以描述所有任务间的关联，然后将该提示与图像特征转换为任务特定提示，其作为解码器输入的一部分被送入解码器。由此，我们使模型尽早“感知”正在进行中的任务，并增强整个解码器的任务特定训练。我们的结果表明，所提 UniSeg 在 11 个上游任务上优于其他通用模型与单任务模型。此外，UniSeg 在两个下游数据集上也击败其他预训练模型，为社区提供了用于 3D 医学图像分割的高质量预训练模型。代码与模型见于 https://github.com/yeerwen/UniSeg。
引用
@article{arxiv.2304.03493,
title = {UniSeg: A Prompt-driven Universal Segmentation Model as well as A Strong Representation Learner},
author = {Yiwen Ye and Yutong Xie and Jianpeng Zhang and Ziyang Chen and Yong Xia},
journal= {arXiv preprint arXiv:2304.03493},
year = {2023}
}
备注
13 pages, 4 figures