面向多模态情感分析的可解释融合与均衡学习
机器学习
2025-07-08 v2 人工智能
摘要
多模态情感分析（MSA）面临两个关键挑战：多模态融合决策逻辑缺乏可解释性，以及由模间信息密度差异导致的模态不平衡问题。为此，我们提出KAN-MCP框架，集成Kolmogorov-Arnold网络（KAN）的可解释性与Multimodal Clean Pareto（MCPareto）框架的鲁棒性。首先，KAN利用其单变量函数分解实现跨模态相互作用的透明分析。这种结构设计允许直接检查特征变换，而无需依赖外部解释工具，从而确保高表达性和可解释性。其次，提出的MCPareto通过解决模态不平衡和噪声干扰来增强鲁棒性。具体而言，我们引入维度缩减与去噪模态信息瓶颈（DRD-MIB）方法，联合去噪和降低特征维度。该方法为KAN提供判别性低维输入，以减少KAN的建模复杂度，同时保持关键情感相关信息。此外，MCPareto利用DRD-MIB输出的干净特征，动态平衡跨模态的梯度贡献，确保辅助信号无损传输，从而有效缓解模态不平衡。这种可解释性与鲁棒性的协同作用，不仅在CMU-MOSI、CMU-MOSEI和CH-SIMS v2等基准数据集上实现了卓越的性能，还通过KAN的可解释架构提供了直观的可视化界面。我们的代码已发布在 https://github.com/LuoMSen/KAN-MCP 上。
引用
@article{arxiv.2504.12151,
title = {Towards Explainable Fusion and Balanced Learning in Multimodal Sentiment Analysis},
author = {Miaosen Luo and Yuncheng Jiang and Sijie Mai},
journal= {arXiv preprint arXiv:2504.12151},
year = {2025}
}