MIDG: 用于多模态情感分析域泛化的知识注入不变专家混合模型
机器学习
2025-12-09 v1 人工智能
摘要
多模态情感分析（MSA）中的域泛化方法在不变特征提取过程中常常忽略模态间的协同效应，从而无法准确捕捉多模态数据中丰富的语义信息。此外，尽管知识注入技术已在MSA中得到探索，但它们往往面临跨模态知识碎片化的问题，忽略了单模态范围之外存在的特定表示。为解决这些限制，本文提出了一种面向域泛化的新型MSA框架。首先，该框架引入不变专家混合模型以提取域不变特征，从而增强模型学习模态间协同关系的能力。其次，我们设计了一个跨模态适配器，通过跨模态知识注入来丰富多模态表示的语义内涵。在三个数据集上进行的广泛域实验表明，所提出的MIDG取得了优越的性能。
引用
@article{arxiv.2512.07430,
title = {MIDG: Mixture of Invariant Experts with knowledge injection for Domain Generalization in Multimodal Sentiment Analysis},
author = {Yangle Li and Danli Luo and Haifeng Hu},
journal= {arXiv preprint arXiv:2512.07430},
year = {2025}
}