FG-CXR: 面向提升胸片报告可解释性的放射科医师对齐注视数据集
计算机视觉与模式识别
2024-11-26 v1 人工智能
摘要
开发用于胸腔 X 射线（CXR）分析的可解释报告生成系统日益至关重要，这对于计算机辅助诊断（CAD）系统而言，能够帮助放射科医师理解这些系统所作出的决策。尽管各种数据集和方法在报告生成方面取得了显著进展，但仍存在一个显著的差距，即这些模型生成的报告与真实放射科医师的解读之间存在明显的对齐性不足。本研究通过引入细粒度胸腔 X 射线（FG-CXR）数据集来解决这一挑战，该数据集为放射科医师生成的描述与其对应的注视注意热图提供细粒度的配对信息。与现有数据集不同，后者包含一系列原始注视数据与报告，注视位置与报告内容之间存在显著的错位；而我们的 FG-CXR 数据集提供了注视注意与诊断记录之间的更细致的对齐。此外，我们的分析表明，仅仅将黑箱图像描述方法应用于报告生成，无法充分解释 CXR 中利用了哪些信息，以及需要注意多长时间才能准确生成报告。因此，我们提出了一种新型可解释放射科医师注意力生成网络（Gen-XAI），该网络模拟放射科医师的诊断过程，通过显式约束其输出，使其与放射科医师的注视注意和记录保持紧密对齐。最后，我们进行了大量实验以说明该方法的有效性。我们的数据集和模型检查点均可在 https://github.com/UARK-AICV/FG-CXR 上获取。
引用
@article{arxiv.2411.15413,
title = {FG-CXR: A Radiologist-Aligned Gaze Dataset for Enhancing Interpretability in Chest X-Ray Report Generation},
author = {Trong Thang Pham and Ngoc-Vuong Ho and Nhat-Tan Bui and Thinh Phan and Patel Brijesh and Donald Adjeroh and Gianfranco Doretto and Anh Nguyen and Carol C. Wu and Hien Nguyen and Ngan Le},
journal= {arXiv preprint arXiv:2411.15413},
year = {2024}
}
备注
ACCV 2024