NEURAL：面向统一多模态资源受限临床评估的注意力引导剪枝框架
计算机视觉与模式识别
2025-08-14 v1 机器学习
摘要
多模态医学影像数据的快速增长带来了显著的存储与传输挑战，尤其是在资源受限的临床环境中。我们提出 NEURAL，一个通过语义引导数据压缩来解决此问题的新型框架。我们的方法重新利用微调后的生成式视觉-语言模型中影像与其放射学报告之间的交叉注意力分数，对胸部 X 光片进行结构化剪枝，仅保留对诊断至关重要的区域。此过程将影像转化为高度压缩的图表示。这种统一的基于图的表示将剪枝后的视觉图与从临床报告中提取的知识图谱融合，创建了一种可简化下游建模的通用数据结构。在 MIMIC-CXR 和 CheXpert Plus 数据集上进行肺炎检测验证，NEURAL 实现了 93.4-97.7% 的影像数据量缩减，同时保持了 0.88-0.95 AUC 的高诊断性能，优于其他使用未压缩数据的基线模型。通过创建持久且任务无关的数据资产，NEURAL 解决了数据量与临床效用之间的权衡问题，在不牺牲性能的前提下实现了高效工作流和远程放射学。我们的 NEURAL 代码可在 https://github.com/basiralab/NEURAL 获取。
引用
@article{arxiv.2508.09715,
title = {NEURAL: Attention-Guided Pruning for Unified Multimodal Resource-Constrained Clinical Evaluation},
author = {Devvrat Joshi and Islem Rekik},
journal= {arXiv preprint arXiv:2508.09715},
year = {2025}
}