用于交互式医学图像分割中 SAM 的时序扩展提示优化
计算机视觉与模式识别
2023-06-16 v1 人工智能
机器学习
摘要
Segmentation Anything Model（SAM）近来作为解决图像分割的基础模型崭露头角。鉴于医学图像固有的复杂性与高标注成本，医学图像分割（MIS）领域受到鼓舞去探究 SAM 的零样本能力以促进自动标注。受交互式医学图像分割（IMIS）范式非凡成就的启发，本文聚焦于评估 SAM 的零样本能力在 IMIS 范式中的潜力，以放大其在 MIS 领域的益处。遗憾的是，我们观察到 SAM 对提示形式（如点、边界框）的脆弱性在 IMIS 中变得尤为明显。这促使我们开发一个框架，自适应地为人类专家提供合适的提示形式。我们将上述框架称为时序扩展提示优化（TEPO），并将其建模为可通过强化学习求解的马尔可夫决策过程。在标准化基准 BraTS2020 上的数值实验表明，学到的 TEPO 智能体可进一步增强 SAM 在 MIS 语境下的零样本能力。
引用
@article{arxiv.2306.08958,
title = {Temporally-Extended Prompts Optimization for SAM in Interactive Medical Image Segmentation},
author = {Chuyun Shen and Wenhao Li and Ya Zhang and Xiangfeng Wang},
journal= {arXiv preprint arXiv:2306.08958},
year = {2023}
}
备注
17 pages, 5 figures