用于自动胸部 X 光报告生成的对比注意力
计算机视觉与模式识别
2023-04-12 v5 计算与语言
摘要
近年来，旨在自动生成给定胸部 X 光图像描述的胸部 X 光报告生成任务受到日益增长的研究关注。该任务的关键挑战是准确捕捉并描述异常区域。在大多数情况下，正常区域主导整张胸部 X 光图像，且这些正常区域的对应描述主导最终报告。由于此种数据偏置，基于学习的模型可能未能关注异常区域。在本文中，为有效捕捉并描述异常区域，我们提出对比注意力（CA）模型。CA 模型并非仅关注当前输入图像，而是将当前输入图像与正常图像比较以提炼对比信息。所获对比信息能更好地表示异常区域的视觉特征。根据在公开 IU-X-ray 与 MIMIC-CXR 数据集上的实验，将我们的 CA 融入若干现有模型可提升它们绝大多数指标上的性能。此外，根据分析，CA 模型能帮助现有模型更好地关注异常区域并提供更准描述，这对可解释诊断至关重要。具体而言，我们在两个公开数据集上取得了最先进的结果。
引用
@article{arxiv.2106.06965,
title = {Contrastive Attention for Automatic Chest X-ray Report Generation},
author = {Fenglin Liu and Changchang Yin and Xian Wu and Shen Ge and Yuexian Zou and Ping Zhang and Yuexian Zou and Xu Sun},
journal= {arXiv preprint arXiv:2106.06965},
year = {2023}
}
备注
Appear in Findings of ACL 2021 (The Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021))