基于课程学习的双模块去噪方法用于提升多模态方面情感分析
计算机视觉与模式识别
2024-12-12 v1 多媒体
摘要
多模态方面情感分析（MABSA）将文本和图像组合进行情感分析，但常常难以处理无关或误导的视觉信息。现有方法通常仅解决句子-图像去噪或方面-图像去噪，无法全面处理这两种噪声。为克服这些限制，我们提出 DualDe 方法，包含两个独立组件：混合课程去噪模块（HCD）和方面增强去噪模块（AED）。HCD 模块通过纳入灵活的课程学习策略来增强句子-图像去噪，该策略优先处理干净数据。同时，AED 模块通过方面导向注意力机制来缓解方面-图像噪声，通过过滤与特定方面无关的噪声视觉区域。我们的做法在实验评估中证明有效，能够有效处理句子-图像和方面-图像两种噪声。
引用
@article{arxiv.2412.08489,
title = {A Dual-Module Denoising Approach with Curriculum Learning for Enhancing Multimodal Aspect-Based Sentiment Analysis},
author = {Nguyen Van Doan and Dat Tran Nguyen and Cam-Van Thi Nguyen},
journal= {arXiv preprint arXiv:2412.08489},
year = {2024}
}
备注
Accepted at PACLIC 2024