EgoSurgery-Phase:来自自我中心开放手术视频的手术阶段识别数据集
计算机视觉与模式识别
2024-11-28 v3 人工智能
机器学习
摘要
手术阶段识别因其为现代手术室的众多需求提供解决方案的潜力而受到广泛关注。然而,大多数现有方法集中于微创手术(MIS),开放手术的手术阶段识别研究不足。这种差异主要归因于公开可用的开放手术视频数据集用于手术阶段识别的稀缺性。为解决此问题,我们引入一个新的自我中心开放手术视频数据集用于阶段识别,命名为EgoSurgery-Phase。该数据集包含15小时的真实开放手术视频,涵盖9个不同的手术阶段,全部使用附着在医生头上的自我中心摄像头拍摄。除视频外,EgoSurgery-Phase还提供眼动注视。据我们所知,它是第一个公开可用的用于手术阶段识别的真实开放手术视频数据集。此外,受掩码自编码器(MAE)在视频理解任务(如动作识别)中显著成功的启发,我们提出一种注视引导的掩码自编码器(GGMAE)。考虑到外科医生注视聚焦的区域通常对手术阶段识别至关重要(如手术区域),在我们的GGMAE中,注视信息作为经验性语义丰富度先验来指导掩码过程,促进对语义丰富空间区域的更好关注。GGMAE在EgoSurgery-Phase上显著改进了先前最先进的识别方法(Jaccard指数提高6.4%)和基于掩码自编码器的方法(Jaccard指数提高3.1%)。数据集发布在https://github.com/Fujiry0/EgoSurgery。
引用
@article{arxiv.2405.19644,
title = {EgoSurgery-Phase: A Dataset of Surgical Phase Recognition from Egocentric Open Surgery Videos},
author = {Ryo Fujii and Masashi Hatano and Hideo Saito and Hiroki Kajita},
journal= {arXiv preprint arXiv:2405.19644},
year = {2024}
}
备注
Early accepted by MICCAI 2024