从眼动捕捉解释放射科医生的意图在胸部 X 光诊断中

放射科医生依赖眼动来导航和解释医学图像。经过训练的放射科医生拥有关于图像中可能存在的疾病的知识，并且在搜索时遵循心理清单以定位它们。这是关键观察，但现有模型未能捕捉每次注视背后的意图。在本文中，我们引入一种基于深度学习的 method，RadGazeIntent，旨在建模这种行为：具有寻找某物的意图并主动搜索。我们的基于 transformer 的 architecture 处理 gaze 数据的时空维度，将细粒度的注视特征转换为放射科医生目标的粗糙、有意义的表征，以解释放射科医生的目标。为捕捉放射科医生各种意图驱动行为的细微差别，我们处理现有的医学 eye-tracking 数据集，创建三个意图标记子集：RadSeq（系统顺序搜索）、RadExplore（不确定性驱动的探索）和 RadHybrid（混合模式）。实验结果表明，RadGazeIntent 能够预测放射科医生在特定时刻正在检查哪些发现，在所有意图标记子集上均优于基线方法。