AP-MTL：用于机器人辅助手术中实时器械检测与分割的注意力剪枝多任务学习模型
计算机视觉与模式识别
2020-10-19 v2 图像与视频处理
摘要
手术场景理解与多任务学习对于图像引导的机器人手术至关重要。在有限计算资源下训练用于高分辨率图像检测与分割的实时机器人系统是一个具有挑战性的问题。所获得的感知可用于有效的实时反馈、手术技能评估以及人机协作手术，以改善手术结果。为此，我们开发了一种新颖的端到端可训练实时多任务学习(MTL)模型，具有权重共享编码器和任务感知的检测与分割解码器。在相同的收敛点优化多个任务至关重要且构成一个复杂问题。因此，我们提出一种异步任务感知优化(ATO)技术来计算面向任务的梯度并独立训练解码器。此外，MTL 模型通常计算开销大，阻碍了实时应用。为应对这一挑战，我们引入全局注意力动态剪枝(GADP)，去除较不显著和稀疏的参数。我们进一步设计了一个跳跃压缩激励(SE)模块，抑制弱特征、激发显著特征，并进行动态空间与通道特征重校准。在 MICCAI 内镜视觉挑战的机器人器械分割数据集上验证，我们的模型显著优于 SOTA 分割与检测模型，包括该挑战中性能最佳的模型。
引用
@article{arxiv.2003.04769,
title = {AP-MTL: Attention Pruned Multi-task Learning Model for Real-time Instrument Detection and Segmentation in Robot-assisted Surgery},
author = {Mobarakol Islam and Vibashan VS and Hongliang Ren},
journal= {arXiv preprint arXiv:2003.04769},
year = {2020}
}
备注
Accepted in the conference of ICRA 2020