基于级联卷积神经网络与长短期记忆的肝脏超声图像标志点追踪
计算机视觉与模式识别
2023-02-15 v1 医学物理
摘要
本研究提出了一种基于深度学习的超声（US）图像引导放射治疗追踪方法。所提出的级联深度学习模型由注意力网络、掩码区域卷积神经网络（mask R-CNN）和长短期记忆（LSTM）网络组成。注意力网络学习从 US 图像到标志点运动可疑区域的映射，以减小搜索区域。mask R-CNN 随后在缩小区域内生成多个感兴趣区域（ROI）提议，并通过三个网络头（边界框回归、提议分类和标志点分割）识别所提标志点。LSTM 网络对连续图像帧之间的时间关系建模，用于边界框回归和提议分类。为巩固最终提议，根据序列帧之间的相似性设计了一种选择方法。所提方法在医学图像计算与计算机辅助干预（MICCAI）2015 挑战赛使用的肝脏 US 追踪数据集上测试，其中标志点由三名经验丰富观察者标注以获得其平均位置。对 24 个给定 US 序列使用真实值进行五折交叉验证表明，所有标志点的平均追踪误差为 0.65±0.56 mm，且所有标志点误差均在 2 mm 内。我们进一步在来自测试集的 69 个标志点上测试所提模型，该测试集与训练模式具有相似图像模式，平均追踪误差为 0.94±0.83 mm。我们的实验结果证明了所提方法在利用 US 图像追踪肝脏解剖标志点方面的可行性和准确性，为放射治疗中主动运动管理的实时肝脏追踪提供了潜在解决方案。
引用
@article{arxiv.2209.06952,
title = {Landmark Tracking in Liver US images Using Cascade Convolutional Neural Networks with Long Short-Term Memory},
author = {Yupei Zhang and Xianjin Dai and Zhen Tian and Yang Lei and Jacob F. Wynne and Pretesh Patel and Yue Chen and Tian Liu and Xiaofeng Yang},
journal= {arXiv preprint arXiv:2209.06952},
year = {2023}
}