Semi-IIN：半监督 intra- inter 模态交互学习网络用于多模态情感分析
计算与语言
2024-12-16 v1 人工智能
摘要
尽管多模态情感分析是值得进一步调查的活跃研究领域，但现有方法往往高额标注成本且面临标签歧义，制约高质量标注数据的获取。此外，选择恰当的交互方式至关重要，因为 intra- 与 inter- 模态交互的重要性会因样本不同而异。为此，我们提出Semi-IIN——一种半监督 intra- inter 模态交互学习网络，用于多模态情感分析。Semi-IIN集成掩码注意力与门控机制，实现对 intra- 与 inter- 模态交互信息的有效动态选择。结合自训练方法，充分利用从无标签数据中学习到的知识。在两个公开数据集 MOSI 和 MOSEI 上的实验结果表明，Semi-IIN有效且在多个指标上建立了新的状态最佳（SOTA）。代码可在 https://github.com/flow-ljh/Semi-IIN 获取。
引用
@article{arxiv.2412.09784,
title = {Semi-IIN: Semi-supervised Intra-inter modal Interaction Learning Network for Multimodal Sentiment Analysis},
author = {Jinhao Lin and Yifei Wang and Yanwu Xu and Qi Liu},
journal= {arXiv preprint arXiv:2412.09784},
year = {2024}
}