AdaFuse：基于强化学习的自适应多模态融合用于肺癌风险预测
计算机视觉与模式识别
2026-02-03 v1 人工智能
摘要
多模态融合已成为疾病诊断和预后预测的有前景的范式，通过整合来自医学影像、临床记录和放射报告等异构数据源的互补信息。然而，现有融合方法要么将所有可用模态通过网络处理，要么学习为不同贡献权重，未能解答一个根本问题：对于给定患者，是否应使用某些模态。我们提出AdaFuse，一种基于强化学习(RL)的自适应多模态融合框架，用于肺癌风险预测。AdaFuse将多模态融合形式化为序列决策过程，策略网络迭代决定是否包含额外模态或直接进行预测，基于已获取的信息。这种序列化 formulation 使模型能够依据先前观察的模态进行选择，在获取足够信息后提前终止，而不是 upfront 决定固定子集。我们在国家肺部筛查试验(NLST)数据集上评估了AdaFuse。实验结果表明，AdaFuse的AUC(0.762)高于最佳单模态基线(0.732)、最佳固定融合策略(0.759)以及自适应基线包括DynMM(0.754)和MoE(0.742)，同时使用更少的FLOPs。我们的工作表明，强化学习在医学影像中实现个性化多模态融合具有潜力，标志着从均匀融合策略向学习何时咨询额外模态以及何时已有信息足以进行准确预测的自适应诊断管道的转变。
引用
@article{arxiv.2602.00347,
title = {AdaFuse: Adaptive Multimodal Fusion for Lung Cancer Risk Prediction via Reinforcement Learning},
author = {Chongyu Qu and Zhengyi Lu and Yuxiang Lai and Thomas Z. Li and Junchao Zhu and Junlin Guo and Juming Xiong and Yanfan Zhu and Yuechen Yang and Allen J. Luna and Kim L. Sandler and Bennett A. Landman and Yuankai Huo},
journal= {arXiv preprint arXiv:2602.00347},
year = {2026}
}