利用弱监督元学习单模态信号进行多模态情感分析
机器学习
2024-09-16 v2 人工智能
摘要
多模态情感分析旨在有效整合来自各种来源的信息以推断情感，在许多情况下，单模态标签没有标注。因此，大多数工作依赖多模态标签进行训练。然而，单模态信号的学习存在噪声标签问题，因为多模态标注并不总是单模态标注的理想替代品，无法实现对单个模态的更精细优化。在本文中，我们探索了在标注的多模态标签的弱监督下学习单模态标签。具体来说，我们提出了一种新颖的元单标签生成（MUG）框架来解决上述问题，该框架利用可用的多模态标签通过元单标签校正网络（MUCN）学习相应的单模态标签。我们首先设计了一个基于对比的投影模块来弥合单模态和多模态表示之间的差距，从而利用多模态标注来指导MUCN的学习。之后，我们提出了单模态和多模态去噪任务，通过双层优化策略为MUCN提供显式监督。然后，我们联合训练单模态和多模态学习任务，以提取用于多模态推断的判别性单模态特征。实验结果表明，MUG优于竞争基线，并且可以学习准确的单模态标签。
引用
@article{arxiv.2408.16029,
title = {Meta-Learn Unimodal Signals with Weak Supervision for Multimodal Sentiment Analysis},
author = {Sijie Mai and Yu Zhao and Ying Zeng and Jianhua Yao and Haifeng Hu},
journal= {arXiv preprint arXiv:2408.16029},
year = {2024}
}