用于缺失多模态情感分析的模态无关双向时间表示蒸馏网络
计算与语言
2025-01-13 v1 人工智能
机器学习
声音
音频与语音处理
摘要
多模态情感分析 (MSA) 集成了文本、音频和视频等多种模态，以全面分析和理解个体情感状态。然而，现实中缺失数据的普遍性为 MSA 带来了重大挑战，主要源于模态缺失的随机性。此外，多模态数据的异构性问题尚未得到有效解决。为此，我们引入了 Modality-Invariant Bidirectional Temporal Representation Distillation Network (MITR-DNet) 用于缺失多模态情感分析。MITR-DNet 采用蒸馏方法，即完整模态教师模型指导缺失模态学生模型，以确保在模态缺失存在时的鲁棒性。同时，我们开发了 Modality-Invariant Bidirectional Temporal Representation Learning Module (MIB-TRL) 以缓解异构性。
引用
@article{arxiv.2501.05474,
title = {Modality-Invariant Bidirectional Temporal Representation Distillation Network for Missing Multimodal Sentiment Analysis},
author = {Xincheng Wang and Liejun Wang and Yinfeng Yu and Xinxin Jiao},
journal= {arXiv preprint arXiv:2501.05474},
year = {2025}
}
备注
Accepted for publication by 2025 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2025)