GazeSAM：所见即所分割
计算机视觉与模式识别
2023-04-28 v1
摘要
本研究探讨了眼动追踪技术与 Segment Anything Model (SAM) 在设计协作式人机交互系统以实现医学图像分割自动化方面的潜力。我们提出 \textbf{GazeSAM} 系统，使放射科医生在影像诊断过程中仅需注视感兴趣区域即可采集分割掩码。所提系统追踪放射科医生的眼动，并利用眼动数据作为 SAM 的输入提示，实时自动生成分割掩码。本研究是首个利用眼动追踪技术与 SAM 提升日常临床实践效率的工作。此外，眼动数据连同图像及相应分割标签可被轻松记录，用于进一步的先进眼动追踪研究。代码见 \url{https://github.com/ukaukaaaa/GazeSAM}。
引用
@article{arxiv.2304.13844,
title = {GazeSAM: What You See is What You Segment},
author = {Bin Wang and Armstrong Aboah and Zheyuan Zhang and Ulas Bagci},
journal= {arXiv preprint arXiv:2304.13844},
year = {2023}
}