树状证据：高效的多模态 grounding 的“系统2”搜索
机器学习
2026-04-30 v2
摘要
大型多模态模型(LMM)在医疗等高风险领域实现了最先进的性能，但其推理仍不透明。当前可解释性方法，如注意力机制或事后显著性，往往难以忠实地表示模型的决策过程，尤其是在整合异构模态（如时间序列和文本）时。我们引入树状证据(Tree-of-Evidence, ToE)，一种推理时间搜索算法，将可解释性离散优化问题。不依赖软注意力权重，ToE采用轻量级证据瓶颈，对粗糙的数据组或单元（如生命体征窗口、报告句子）进行评分，并进行束搜索以识别复现模型预测所需的紧凑证据集合。我们在六个任务上评估了ToE，涵盖三个数据集和两个领域：MIMIC-IV上的四个临床预测任务、eICU上的跨中心验证以及LEMMA-RCA上的非临床故障检测。在稀疏证据预算下，ToE在决策一致性和概率忠诚度错误方面优于其他方法。定性分析表明，ToE会调整其搜索策略：它通常只使用生命体征即可解决简单问题，同时在生理信号模糊时选择性地纳入文本。ToE因此为审计多模态模型提供了实用机制，揭示每项预测由哪些离散证据单元支持。
引用
@article{arxiv.2604.07692,
title = {Tree-of-Evidence: Efficient "System 2" Search for Faithful Multimodal Grounding},
author = {Micky C. Nnamdi and Benoit L. Marteau and Yishan Zhong and J. Ben Tamo and May D. Wang},
journal= {arXiv preprint arXiv:2604.07692},
year = {2026}
}