I-AI：一种用于解码放射科医生高度专注以实现精准CXR诊断的可控可解释AI系统
计算机视觉与模式识别
2023-12-12 v4 人工智能
摘要
在胸部X光（CXR）诊断领域，现有工作通常仅关注确定放射科医生看向何处，一般通过检测、分割或分类等任务实现。然而，这些方法常设计为黑盒模型，缺乏可解释性。本文中，我们提出可解释人工智能（I-AI），一种新颖且统一的可控可解释流水线，用于解码放射科医生在CXR诊断中的高度专注。我们的I-AI解决三个关键问题：放射科医生看向何处、他们在特定区域聚焦多久、以及他们诊断出何种征象。通过捕捉放射科医生注视的强度，我们提供统一方案，揭示放射学判读背后的认知过程。当前方法依赖黑盒机器学习模型，在诊断过程中易从整张输入图像提取错误信息，与之不同，我们通过有效掩蔽无关信息来解决该问题。我们提出的I-AI利用视觉-语言模型，在确保排除无关特征的同时精确控制判读过程。为训练I-AI模型，我们利用眼动凝视数据集提取解剖学凝视信息并生成地面真值热力图。通过大量实验，我们证明了方法的有效性。我们展示出，为模仿放射科医生专注而设计的注意力热力图编码了充分且相关的信息，仅使用部分CXR即可实现准确分类任务。代码、检查点和数据见https://github.com/UARK-AICV/IAI
引用
@article{arxiv.2309.13550,
title = {I-AI: A Controllable & Interpretable AI System for Decoding Radiologists' Intense Focus for Accurate CXR Diagnoses},
author = {Trong Thang Pham and Jacob Brecheisen and Anh Nguyen and Hien Nguyen and Ngan Le},
journal= {arXiv preprint arXiv:2309.13550},
year = {2023}
}
备注
Accepted at WACV 2024