利用标签特定眼动追踪标注对胸片分类器进行定位监督
计算机视觉与模式识别
2022-12-16 v2 图像与视频处理
摘要
卷积神经网络（CNNs）已成功应用于胸片（CXR）图像。此外，已有研究表明标注边界框可提升 CNN 在异常定位方面的可解释性。然而，仅有少量相对较小的含边界框的 CXR 数据集可用，且收集成本极高。恰逢其时地，眼动追踪（ET）数据可在放射科医生临床工作流中以非侵入方式收集。我们使用放射科医生在口述 CXR 报告时记录的 ET 数据来训练 CNNs。我们通过将 ET 数据与关键词口述相关联来提取片段，并用它们监督特定异常的定位。我们表明，该方法在不影响图像级分类性能的前提下提升了模型的可解释性。
引用
@article{arxiv.2207.09771,
title = {Localization supervision of chest x-ray classifiers using label-specific eye-tracking annotation},
author = {Ricardo Bigolin Lanfredi and Joyce D. Schroeder and Tolga Tasdizen},
journal= {arXiv preprint arXiv:2207.09771},
year = {2022}
}