激活关联疾病感知的视觉令牌记忆以用于基于大语言模型的 X 射线报告生成
图像与视频处理
2025-01-08 v1 人工智能
计算机视觉与模式识别
摘要
近年来,基于 X 射线图像的医学报告生成在大语言模型的帮助下取得了显著进展,然而,这些模型尚未充分利用视觉图像区域中的有效信息,导致生成的报告在语言上通顺,但对关键疾病的描述不够充分。本文提出一种新颖的关联记忆增强型 X 射线报告生成模型,有效模拟了专业医生撰写医学报告的过程。该模型同时考虑全局与局部视觉信息的挖掘,并关联历史报告信息以更好地完成当前报告的撰写。具体而言,给定一张 X 射线图像,我们首先利用一个分类模型及其激活图,完成与疾病高度相关的视觉区域的挖掘以及疾病查询令牌的学习。随后,我们采用视觉 Hopfield 网络为疾病相关令牌建立记忆关联,并采用报告 Hopfield 网络检索报告记忆信息。该过程有助于基于大语言模型生成高质量报告,并在多个基准数据集(包括 IU X-ray、MIMIC-CXR 与 Chexpert Plus)上取得了最先进的性能。本工作的源代码已在 \url{https://github.com/Event-AHU/Medical_Image_Analysis} 发布。
引用
@article{arxiv.2501.03458,
title = {Activating Associative Disease-Aware Vision Token Memory for LLM-Based X-ray Report Generation},
author = {Xiao Wang and Fuling Wang and Haowen Wang and Bo Jiang and Chuanfu Li and Yaowei Wang and Yonghong Tian and Jin Tang},
journal= {arXiv preprint arXiv:2501.03458},
year = {2025}
}
备注
In Peer Review