GEM：面向胸部 X 光片的上下文感知视线估计与视觉搜索行为匹配
计算机视觉与模式识别
2024-08-13 v1 计算与语言
摘要
视线估计在人类场景理解任务中起着关键作用，尤其是在医学诊断分析中。眼动技术有助于记录医生在图像解读过程中的眼球运动，从而阐明其视觉注意力模式和信息处理策略。在本文中，我们首先定义了医学放射学报告环境下的上下文感知视线估计问题。为理解放射科医生在医学图像解读过程中的注意力分配和认知行为，我们提出了一种上下文感知视线估计网络（GEM），该网络利用从放射科医生收集的眼动数据来模拟其在图像解读过程中视觉搜索行为模式。该网络由上下文感知模块、视觉行为图构建和视觉行为匹配三个部分组成。在上下文感知模块中，我们通过在医学报告和图像之间建立联系，实现了复杂的多模态注册。随后，为更准确地模拟真实的视觉搜索行为模式，我们引入了视觉行为图结构，通过高阶关系（边）来捕捉眼点（节点）之间的行为。为保持视觉行为的真实性，我们设计了一种视觉行为匹配方法，通过匹配真实视线点和估计视线点构建的图来调整其之间的高阶关系。在四个公开数据集上的大量实验表明，GEM 在现有方法上具有优势，并且具有很强的可泛性，这也为有效利用医学图像解读中多样化模态提供了新的方向，并增强了医学影像领域模型的可解释性。https://github.com/Tiger-SN/GEM
引用
@article{arxiv.2408.05502,
title = {GEM: Context-Aware Gaze EstiMation with Visual Search Behavior Matching for Chest Radiograph},
author = {Shaonan Liu and Wenting Chen and Jie Liu and Xiaoling Luo and Linlin Shen},
journal= {arXiv preprint arXiv:2408.05502},
year = {2024}
}
备注
9 figures