利用配对图像域检索和文本域增强提升3D脑MRI报告事实性
计算机视觉与模式识别
2024-11-26 v1 机器学习
图像与视频处理
摘要
急性脑卒中（AIS）需要紧急处理，延迟治疗会导致患者不可逆的残疾。由于扩散加权成像（DWI）使用磁共振成像（MRI）在检测AIS中起关键作用，自动从DWI预测AIS已成为临床重要的研究主题。虽然文本放射科报告包含来自图像发现的最相关临床信息，但映射跨模态的困难限制了传统直接DWI到报告生成方法的事实性。本文提出了配对图像域检索和文本域增强（PIRTA），一种用于提供提高事实性的临床医生解读性AIS放射科报告的跨模态检索增强生成（RAG）框架。PIRTA通过将跨模态映射问题作为对相似DWI图像进行域内检索（这些图像具有配对的真实文本放射科报告）来缓解学习跨模态映射的需求，这在图像到文本生成中存在困难。通过利用检索到的放射科报告来增强查询图像的报告生成过程，我们通过大量实验室和公共数据集的实验表明，PIRTA能够准确检索到3D DWI图像的相关报告。该方法使使用最先进的多模态语言模型进行直接图像到文本生成生成的放射科报告准确率显著提高。
引用
@article{arxiv.2411.15490,
title = {Improving Factuality of 3D Brain MRI Report Generation with Paired Image-domain Retrieval and Text-domain Augmentation},
author = {Junhyeok Lee and Yujin Oh and Dahyoun Lee and Hyon Keun Joh and Chul-Ho Sohn and Sung Hyun Baik and Cheol Kyu Jung and Jung Hyun Park and Kyu Sung Choi and Byung-Hoon Kim and Jong Chul Ye},
journal= {arXiv preprint arXiv:2411.15490},
year = {2024}
}