用于手术视频理解的概念图神经网络
计算机视觉与模式识别
2023-04-27 v2
摘要
我们不断整合对世界的认知与理解，以增强对所见事物的解读。这一能力在需要对多个实体与概念进行推理的应用领域（如 AI 增强手术）中至关重要。本文提出一种通过时间概念图网络将概念知识整合进时间分析任务的新方法。在所提网络中，一个全局知识图被纳入手术实例的时间分析中，学习概念与关系的含义及其在数据中的适用方式。我们在手术视频数据上展示了用于关键安全视野验证以及 Parkland 分级评分估计等任务的结果。结果表明，我们的方法改进了复杂基准的识别与检测，并支持其他相关的分析应用。
引用
@article{arxiv.2202.13402,
title = {Concept Graph Neural Networks for Surgical Video Understanding},
author = {Yutong Ban and Jennifer A. Eckhoff and Thomas M. Ward and Daniel A. Hashimoto and Ozanan R. Meireles and Daniela Rus and Guy Rosman},
journal= {arXiv preprint arXiv:2202.13402},
year = {2023}
}