针对不完整模态多模态情感分析的置信度感知自蒸馏
机器学习
2025-06-03 v1
摘要
多模态情感分析（Multimodal Sentiment Analysis, MSA）旨在通过多模态数据理解人类情感。在现实场景中，实际因素通常导致不确定的模态缺失。现有的处理模态缺失的方法基于数据重构或公共子空间投影。然而，这些方法忽略了对多模态组合的置信度，并对类内表示施加约束，阻碍了对特定模态信息的捕获，导致性能次优。为了应对这些挑战，我们提出了一种置信度感知自蒸馏（Confidence-Aware Self-Distillation, CASD）策略，该策略通过 Student-t 分布混合有效地结合了多模态概率嵌入，通过引入置信度并适应重尾特性来增强其鲁棒性。该策略估计带有不确定性分数的联合分布，并通过一致性蒸馏减少学生网络中的不确定性。此外，我们引入了一个重参数化表示模块，该模块通过从联合分布中采样嵌入供预测模块计算任务损失，从而促进 CASD 在鲁棒多模态学习中的应用。结果，由损失最小化产生的方向约束被采样表示所缓解。在三个基准数据集上的实验结果表明，我们的方法实现了最先进的性能。
引用
@article{arxiv.2506.01490,
title = {Confidence-Aware Self-Distillation for Multimodal Sentiment Analysis with Incomplete Modalities},
author = {Yanxi Luo and Shijin Wang and Zhongxing Xu and Yulong Li and Feilong Tang and Jionglong Su},
journal= {arXiv preprint arXiv:2506.01490},
year = {2025}
}