用于不完整模态下的多模态情感分析的相关解耦知识蒸馏
计算机视觉与模式识别
2024-06-11 v2
摘要
多模态情感分析 (MSA) 旨在通过多模态数据理解人类情感。大多数 MSA 努力基于模态完整性的假设。然而，在实际应用中，一些实际因素导致不确定的模态缺失，这严重降低模型性能。为此，我们提出一种用于不确定缺失模态下的 MSA 任务的相关解耦知识蒸馏 (CorrKD) 框架。具体而言，我们提出一种样本级对比蒸馏机制，将包含跨样本相关性的全面知识传递以重建缺失语义。此外，我们引入一种类别引导的原型蒸馏机制，使用类别原型捕获跨类别相关性，以对齐特征分布并生成有利的联合表示。最终，我们设计一种响应解耦一致性蒸馏策略，通过响应解耦和互信息最大化来优化学生网络的情感决策边界。广泛的实验表明，我们的框架在三个数据集上均优于多个基线方法。
引用
@article{arxiv.2404.16456,
title = {Correlation-Decoupled Knowledge Distillation for Multimodal Sentiment Analysis with Incomplete Modalities},
author = {Mingcheng Li and Dingkang Yang and Xiao Zhao and Shuaibing Wang and Yan Wang and Kun Yang and Mingyang Sun and Dongliang Kou and Ziyun Qian and Lihua Zhang},
journal= {arXiv preprint arXiv:2404.16456},
year = {2024}
}
备注
Accepted by CVPR 2024