多模态区域对齐网络用于新冠肺炎 X 光生存预测与报告生成
图像与视频处理
2024-05-24 v1 计算机视觉与模式识别
摘要
应对全球新冠肺炎 (COVID-19) 大流行，先进的自动化技术已成为有价值的工具，帮助医护人员在增加工作负担的同时，通过改进放射科报告生成和预后分析。本研究提出一种多模态区域对齐网络 (Multi-modality Regional Alignment Network, MRANet)，这是一种具有可解释性的模型，用于放射科报告生成和生存预测，专注于高风险区域。通过学习探测器中的空间相关性，MRANet 可视化地对区域特定描述进行 grounding，为具有完成策略的解剖区域提供强大的支持。每一区域的视觉特征通过一种新颖的生存注意力机制嵌入，为句子编码提供空间和风险感知特征，同时保持跨任务的全局一致性。采用跨 LLM 对齐技术，可增强图像到文本的传递过程，生成富含临床细节的句子，并为放射科医生提供更好的可解释性。多中心实验验证了 MRANet 的整体性能以及模型中各模块的组成，鼓励进一步发展强调临床解释和可信度的放射科报告生成研究。代码已公开于 https://github.com/zzs95/MRANet。
引用
@article{arxiv.2405.14113,
title = {Multi-modality Regional Alignment Network for Covid X-Ray Survival Prediction and Report Generation},
author = {Zhusi Zhong and Jie Li and John Sollee and Scott Collins and Harrison Bai and Paul Zhang and Terrence Healey and Michael Atalay and Xinbo Gao and Zhicheng Jiao},
journal= {arXiv preprint arXiv:2405.14113},
year = {2024}
}