基于强化学习与形状先验的不完整图像多目标标志点检测
计算机视觉与模式识别
2023-01-16 v1 机器学习
摘要
医学图像通常以有限的视野（FOV）采集，这可能导致感兴趣区域（ROI）不完整，从而给医学图像分析带来巨大挑战。这对于基于学习的多目标标志点检测尤为明显，算法可能因视野变化而被误导主要学习背景变化，导致目标检测失败。基于学习导航策略而非直接预测目标，强化学习（RL）方法有潜力高效应对这一挑战。受此启发，本文提出一种用于同时多目标标志点检测的多智能体 RL 框架。该框架旨在从不完整或（和）完整图像中学习，形成对全局结构的隐式知识，并在训练阶段加以巩固，以便从完整或不完整的测试图像中检测目标。为进一步显式利用不完整图像中的全局结构信息，我们提出将形状模型嵌入 RL 过程。借助这一先验知识，所提 RL 模型不仅能同时定位数十个目标，还能在不完整图像存在的情况下有效且鲁棒地工作。我们使用全身双能 X 射线吸收测定法（DXA）、心脏 MRI 和头部 CT 数据集，在实际临床的不完整图像上验证了所提方法在多种多目标检测任务中的适用性和有效性。结果表明，我们的方法在训练图像缺失比例高达 80% 时仍能预测完整标志点集（全身 DXA 平均距离误差 2.29 cm），并能在目标图像视野外缺失图像信息的区域检测到未见标志点（3D 半头 CT 平均距离误差 6.84 mm）。
引用
@article{arxiv.2301.05392,
title = {Multi-Target Landmark Detection with Incomplete Images via Reinforcement Learning and Shape Prior},
author = {Kaiwen Wan and Lei Li and Dengqiang Jia and Shangqi Gao and Wei Qian and Yingzhi Wu and Huandong Lin and Xiongzheng Mu and Xin Gao and Sijia Wang and Fuping Wu and Xiahai Zhuang},
journal= {arXiv preprint arXiv:2301.05392},
year = {2023}
}
备注
29 pages, 13 figures