多模态融合的条件信息瓶颈：克服讽刺检测中的捷径学习
机器学习
2025-11-18 v2
摘要
多模态讽刺检测是一项复杂任务，需要区分跨模态的细微补充信号，同时过滤无关信息。许多先进方法依赖于从数据集中学习捷径，而非提取预期的讽刺相关特征。然而，我们的实验表明，捷径学习会损害模型在真实场景中的泛化能力。此外，我们通过系统性实验揭示了当前多模态讽刺检测方法的模态融合策略存在的弱点，凸显了针对复杂情感识别进行有效模态融合的必要性。为解决这些挑战，我们构建了由移除 MUStARD++ 中的捷径信号而得的 MUStARD++。随后引入多模态条件信息瓶颈（Multimodal Conditional Information Bottleneck, MCIB）模型，以实现讽刺检测的高效多模态融合。实验结果表明，MCIB 在不依赖捷径学习的情况下实现了最佳性能。
引用
@article{arxiv.2508.10644,
title = {Conditional Information Bottleneck for Multimodal Fusion: Overcoming Shortcut Learning in Sarcasm Detection},
author = {Yihua Wang and Qi Jia and Cong Xu and Feiyu Chen and Yuhan Liu and Haotian Zhang and Liang Jin and Lu Liu and Zhichun Wang},
journal= {arXiv preprint arXiv:2508.10644},
year = {2025}
}
备注
Accepted at AAAI 2026 Conference