面向手术视频的动态场景图表示
计算机视觉与模式识别
2023-10-25 v2
摘要
由显微镜或内窥镜成像设备捕获的手术视频是丰富但复杂的信息源，描绘了在较长时间内使用的不同工具与解剖结构。尽管包含关键的工作流信息且常在诸多手术中被记录，手术视频用于自动化手术工作流理解的运用仍很有限。本工作中，我们利用场景图作为一种更整体、语义有意义且人类可读的方式来表示手术视频，同时编码所有解剖结构、工具及其交互。为恰当评估我们方案的影响，我们基于 CaDIS 与 CATARACTS 数据集的语义分割构建了场景图数据集。我们证明，可通过图卷积网络（GCNs）利用场景图处理手术下游任务（如手术工作流识别），并取得具竞争力的性能。此外，我们展示了手术场景图在模型决策可解释性与鲁棒性方面的优势，而这二者在临床环境中至关重要。
引用
@article{arxiv.2309.14538,
title = {Dynamic Scene Graph Representation for Surgical Video},
author = {Felix Holm and Ghazal Ghazaei and Tobias Czempiel and Ege Özsoy and Stefan Saur and Nassir Navab},
journal= {arXiv preprint arXiv:2309.14538},
year = {2023}
}