面向机器人手术报告生成的带模型校准的域适应学习
机器人学
2021-04-01 v1
摘要
在机器人辅助手术中生成手术报告，以自然语言表达手术场景理解，可在病历录入、手术训练与术后分析中发挥重要作用。尽管深度学习算法具备最先进精度，应用于目标域(TD)数据时部署性能常下降。为此，我们开发了基于多层 transformer 的模型，采用梯度反转对抗学习为多域手术图像生成描述器械与手术感兴趣区域(ROI)语义关系的描述文本。在梯度反转对抗学习中，梯度乘以负常数并在反向传播中对抗更新，以区分源域与目标域并浮现域不变特征。我们还研究了带标签平滑技术的模型校准，以及良好校准模型对倒数第二层特征表示与域适应(DA)的影响。我们为 MICCAI 机器人场景分割与经口机器人手术(TORS)两个机器人手术数据集标注了手术过程描述文本，并经验性地表明所提方法在无监督、零样本、单样本与少样本学习方式下均提升了源域与目标域手术报告生成性能。
引用
@article{arxiv.2103.17120,
title = {Learning Domain Adaptation with Model Calibration for Surgical Report Generation in Robotic Surgery},
author = {Mengya Xu and Mobarakol Islam and Chwee Ming Lim and Hongliang Ren},
journal= {arXiv preprint arXiv:2103.17120},
year = {2021}
}
备注
Accepted in ICRA 2021