基于场景图学习动态交互关系捕捉的机器人手术报告生成
计算机视觉与模式识别
2023-08-30 v1 机器学习
摘要
对于机器人辅助手术，准确的手术报告反映术中的临床操作，并有助于病历录入、术后分析与随访治疗。由于手术场景中组织与器械间存在许多复杂多样的相互作用，这是一项具有挑战性的任务。尽管现有基于深度学习的手术报告生成方法已取得很大成功，它们常忽略组织与手术器械间的交互关系，从而降低了报告生成性能。本文提出一种神经网络，通过显式探索组织与手术器械间的交互关系来提升手术报告生成。我们在一个广泛使用的机器人手术基准数据集上验证了方法的有效性，实验结果表明我们的网络可显著优于现有最先进（state-of-the-art）手术报告生成方法（例如 BLEU-1 与 ROUGE 分别高出 7.48% 与 5.43%）。
引用
@article{arxiv.2306.02651,
title = {Dynamic Interactive Relation Capturing via Scene Graph Learning for Robotic Surgical Report Generation},
author = {Hongqiu Wang and Yueming Jin and Lei Zhu},
journal= {arXiv preprint arXiv:2306.02651},
year = {2023}
}