超越虚假信号：通过反事实推理与自适应专家路由对多模态大语言模型进行去偏
计算与语言
2025-09-22 v1 人工智能
多媒体
摘要
多模态大语言模型(MLLM)在整合视觉和文本信息方面展现了显著能力，但频繁依赖虚假相关性，削弱了其在复杂多模态推理任务中的鲁棒性和泛化能力。本文通过一种新颖的基于因果中介的去偏框架应对MLLM中表面相关性偏差这一关键挑战。具体而言，我们通过反事实样本区分核心语义与虚假的文本和视觉上下文，以激活训练阶段去偏，并采用具有动态路由的专家混合(MoE)架构来选择性激活模态特异性去偏专家。在多模态讽刺检测和情感分析任务上的实证评估表明，我们的框架显著超越了单模态去偏策略和现有最先进模型。
引用
@article{arxiv.2509.15361,
title = {Beyond Spurious Signals: Debiasing Multimodal Large Language Models via Counterfactual Inference and Adaptive Expert Routing},
author = {Zichen Wu and Hsiu-Yuan Huang and Yunfang Wu},
journal= {arXiv preprint arXiv:2509.15361},
year = {2025}
}
备注
Accepted by EMNLP 2025 Findings