CLAMP：用于多模态基于方面的情感分析的自适应多损失与渐进式融合对比学习
计算机视觉与模式识别
2025-07-24 v1 人工智能
摘要
多模态基于方面的情感分析（MABSA）旨在识别配对图文数据中的方面术语并确定其细粒度情感极性，这是提升产品评论系统和舆情监控等应用有效性的基础任务。现有方法面临跨模态对齐噪声和细粒度表示一致性不足等挑战。全局模态对齐方法通常忽略方面术语与其对应局部视觉区域之间的联系，而弥合文本与图像之间的表示差距仍然是一个挑战。为了解决这些局限性，本文提出了一种端到端的具有自适应多损失和渐进式注意力融合的对比学习框架（CLAMP）。该框架由三个新颖的模块组成：渐进式注意力融合网络、多任务对比学习和自适应多损失聚合。渐进式注意力融合网络通过分层、多阶段的跨模态交互增强文本特征与图像区域之间的细粒度对齐，有效抑制无关视觉噪声。其次，多任务对比学习结合全局模态对比和局部粒度对齐，以增强跨模态表示的一致性。自适应多损失聚合采用基于动态不确定性的加权机制，根据每个任务的不确定性校准损失贡献，从而缓解梯度干扰。在标准公开基准上的评估表明，CLAMP 持续优于绝大多数现有的 SOTA 方法。
引用
@article{arxiv.2507.16854,
title = {CLAMP: Contrastive Learning with Adaptive Multi-loss and Progressive Fusion for Multimodal Aspect-Based Sentiment Analysis},
author = {Xiaoqiang He},
journal= {arXiv preprint arXiv:2507.16854},
year = {2025}
}