用于腹腔镜与机器人手术中交互事件预测的超图-Transformer (HGT)
计算机视觉与模式识别
2025-03-12 v2
摘要
在微创手术中，理解和预测术中事件与动作对于术中辅助和决策至关重要。通过各种计算方法来实现对事件、动作及其后续后果的自动化预测，旨在增强外科医生的感知和决策能力。我们提出了一种预测神经网络，能够从腹腔内视频中理解和预测手术工作流程的关键交互方面，同时灵活地利用外科知识图谱。该方法结合了超图-Transformer（HGT）结构，将专家知识编码到网络设计中并预测图的隐藏嵌入。我们在既定的外科数据集和应用上验证了我们的方法，包括动作三元组的检测和预测，以及安全关键视图（CVS）的达成。此外，我们处理了特定的安全相关任务，例如在未事先达成 CVS 的情况下预测胆囊管或动脉的夹闭。我们的结果证明了与无结构的替代方法相比，我们方法的优越性。
引用
@article{arxiv.2402.01974,
title = {Hypergraph-Transformer (HGT) for Interactive Event Prediction in Laparoscopic and Robotic Surgery},
author = {Lianhao Yin and Yutong Ban and Jennifer Eckhoff and Ozanan Meireles and Daniela Rus and Guy Rosman},
journal= {arXiv preprint arXiv:2402.01974},
year = {2025}
}