ST-MTL：用于机器人手术器械追踪时预测扫描路径的时空多任务学习模型

在图像引导机器人手术中，面向任务的注意力在追踪器械时的表征学习具有巨大潜力。将认知能力自动化以控制相机可使外科医生更专注于处理手术器械。其目标是减少手术时间并便利医患双方的手术过程。我们提出了一种端到端可训练的时空多任务学习（ST-MTL）模型，具有共享编码器和时空解码器，用于实时手术器械分割与面向任务的显著性检测。在共享参数的 MTL 模型中，将多个损失函数优化至收敛点仍是一个开放挑战。我们通过一种新颖的异步时空优化（ASTO）技术解决该问题，即为每个解码器计算独立梯度。我们还设计了一个竞争性的压缩激励单元，通过引入跳跃连接以保留弱特征、激发强特征，并执行动态空间与通道级特征重标定。为更好地捕获长期时空依赖，我们通过拼接连续帧的高层编码器特征来增强长短期记忆（LSTM）模块。我们还引入 Sinkhorn 正则化损失，以在计算效率保持的前提下增强面向任务的显著性检测。我们在 MICCAI 2017 机器人器械分割挑战赛数据集上生成了器械的 task-aware 显著性图与扫描路径。与最先进的分割和显著性方法相比，我们的模型在多数评估指标上更优，并在该挑战赛中取得出色表现。