基于多智能体强化学习的边界感知超体素级迭代优化交互式三维图像分割
计算机视觉与模式识别
2023-03-21 v1 人工智能
摘要
交互式分割近年来被探索用于通过迭代地融入用户提示来有效且高效地获取高质量分割掩码。尽管本质上具有迭代性，现有大多数交互式分割方法往往忽略连续交互的动态性，并将每次交互独立对待。本文提出将迭代交互式图像分割建模为马尔可夫决策过程（MDP）并用强化学习（RL）求解，其中每个体素被视为一个智能体。考虑到体素级预测的巨大探索空间以及分割任务中相邻体素间的依赖性，我们采用多智能体强化学习，其中体素级策略在智能体间共享。考虑到边界体素对分割更为重要，我们进一步引入边界感知奖励，其由相对交叉熵增益形式的全局奖励（以约束方向更新策略）和相对权重形式的边界奖励（以强调边界预测的正确性）组成。为结合不同类型交互的优势（即点选的简单高效与涂鸦的稳定鲁棒），我们提出了一种基于超体素点击的交互设计。在四个基准数据集上的实验结果表明，所提方法显著优于当前最优方法，且具有交互更少、精度更高和鲁棒性增强的优势。
引用
@article{arxiv.2303.10692,
title = {Boundary-aware Supervoxel-level Iteratively Refined Interactive 3D Image Segmentation with Multi-agent Reinforcement Learning},
author = {Chaofan Ma and Qisen Xu and Xiangfeng Wang and Bo Jin and Xiaoyun Zhang and Yanfeng Wang and Ya Zhang},
journal= {arXiv preprint arXiv:2303.10692},
year = {2023}
}
备注
Accepted by IEEE Transactions on Medical Imaging