PE-MED：面向交互式医学图像分割的提示增强方法
计算机视觉与模式识别
2023-08-29 v1 人工智能
机器学习
摘要
交互式医学图像分割是指通过用户与图像之间的交互（如点击）对感兴趣目标进行精确分割。近年来它被广泛研究，因为相较于全自动分割，它对大量标注数据的依赖更小且更灵活。然而，当前研究尚未充分挖掘用户提供的提示信息（如点），包括单次交互中挖掘的知识以及多次交互之间的关系。因此，本文引入一种配备提示增强的新框架，称为 PE-MED，用于交互式医学图像分割。首先，我们引入自循环（Self-Loop）策略，基于首次提示生成 warmed 初始分割结果，可避免高度不利的情形，例如首次交互后遇到空白掩码作为初始输入。其次，我们提出一种新的提示注意力学习模块（PALM）以挖掘单次交互中的有用提示信息，增强网络对用户点击的响应能力。最后，我们构建时间序列信息传播（TSIP）机制以提取多次交互间的时序关系并提升模型稳定性。与其他最先进（SOTA）医学图像分割算法的对比实验表明，我们的方法具有更好的分割精度与稳定性。
引用
@article{arxiv.2308.13746,
title = {PE-MED: Prompt Enhancement for Interactive Medical Image Segmentation},
author = {Ao Chang and Xing Tao and Xin Yang and Yuhao Huang and Xinrui Zhou and Jiajun Zeng and Ruobing Huang and Dong Ni},
journal= {arXiv preprint arXiv:2308.13746},
year = {2023}
}
备注
Accepted by MICCAI MLMI 2023