用于手术活动识别的人眼注视引导注意力
图像与视频处理
2022-11-15 v2 计算机视觉与模式识别
摘要
对手术活动建模并自动识别是实现手术自动化的基础步骤，并在向外科医生提供及时反馈方面发挥重要作用。在视频中准确识别手术活动是一项具挑战性的问题，需要有效手段学习空间与时间动态。人眼注视与视觉显著性携带关于视觉注意力的重要信息，可用于提取更相关、更好反映这些空间与时间动态的特征。本研究中，我们提出将人眼注视与时空注意力机制结合用于手术视频中的活动识别。我们的模型由基于I3D的架构组成，利用3D卷积学习时空特征，并利用人眼注视作为监督学习注意力图。我们在JIGSAWS的缝合任务上评估模型，该数据集为公开可用的手术视频理解数据集。据我们所知，我们首个将人眼注视用于手术活动识别。我们的结果与消融研究支持了利用人眼注视引导注意力的贡献，以85.4%的准确率优于最先进模型。
引用
@article{arxiv.2203.04752,
title = {Human Gaze Guided Attention for Surgical Activity Recognition},
author = {Abdishakour Awale and Duygu Sarikaya},
journal= {arXiv preprint arXiv:2203.04752},
year = {2022}
}