面向鲁棒多模态情感分析的质量感知语义增强 (QASA)
机器学习
2026-05-26 v2 人工智能
摘要
多模态大语言模型在捕捉多模态情感分析的语义表示方面表现出色，但其学习稳定和可泛化多模态特征的能力，却受限于高质量训练数据的稀缺。为此，我们提出QASA (质量感知语义增强)，利用扩散模型生成增强的视觉和听觉样本，从而扩大训练数据集并支持多模态学习。生成的样本质量各异，可能存在跨模态不一致性。为此，我们引入解耦的质量感知评分模块，根据每个增强样本的可靠性分配训练权重。该方法减少了低质量数据的影响，有助于更稳定和稳健的模型训练。该框架将扩散模型的生成能力与多模态大模型的语义推理能力相结合，提供一种无需人工标注的数据增强策略，提高了在有限高质量数据下的泛化性和鲁棒性。在CH-SIMS数据集上的实验表明，QASA在五分类准确率 (Acc5) 和二分类准确率 (Acc2) 分别提升了18.0%和5.9%，并在CMU-MOSI和MUStARD基准上超越了现有方法。
引用
@article{arxiv.2601.06870,
title = {QASA: Quality-Aware Semantic Augmentation for Robust Multimodal Sentiment Analysis},
author = {Jiazhang Liang and Jianheng Dai and Miaosen Luo and Menghua Jiang and Sijie Mai},
journal= {arXiv preprint arXiv:2601.06870},
year = {2026}
}
备注
11 pages, 4 figures