用于手术报告生成的基于平滑与校准的类增量领域自适应
计算机视觉与模式识别
2021-07-26 v1 图像与视频处理
摘要
在机器人辅助手术中，旨在实现手术场景理解的手术报告生成有助于记录录入任务和术后分析。尽管结果令人印象深刻，但深度学习模型在应用于遇到领域偏移的不同领域时性能会下降。此外，机器人手术中还出现了新的器械和手术组织变异。在本研究中，我们提出类增量领域自适应（CIDA）与多层基于 Transformer 的模型，以解决目标领域中的新类别和领域偏移问题，从而在机器人手术期间生成手术报告。为了适应增量类并提取领域不变特征，将采用有监督对比（SupCon）损失的类增量（CI）学习方法与特征提取器相结合。为了从提取的特征生成描述，将基于一维高斯平滑的课程学习（CBS）与多层基于 Transformer 的描述预测模型相集成。CBS 利用抗锯齿平滑特征嵌入，并帮助模型学习领域不变特征。我们还采用标签平滑（LS）来校准预测概率，并在特征提取器和描述生成模型中获得更好的特征表示。通过使用两个手术领域的数据集（如肾切除术和经口机器人手术）对所提出的技术进行了实证评估。我们观察到，在领域偏移和未见类别的情况下，领域不变特征学习和经过良好校准的网络以单次和少次学习的方式，提高了在源领域和目标领域的手术报告生成性能。代码已在 https://github.com/XuMengyaAmy/CIDACaptioning 公开提供。
引用
@article{arxiv.2107.11091,
title = {Class-Incremental Domain Adaptation with Smoothing and Calibration for Surgical Report Generation},
author = {Mengya Xu and Mobarakol Islam and Chwee Ming Lim and Hongliang Ren},
journal= {arXiv preprint arXiv:2107.11091},
year = {2021}
}
备注
Accepted in MICCAI 2021