面向无监督跨域视觉情感识别的知识对齐反事实增强扩散感知
计算机视觉与模式识别
2025-05-27 v1
摘要
视觉情感识别（VER）是一项关键且具有挑战性的任务，旨在根据视觉线索推断个体的情感状态。然而，现有工作多聚焦于单一领域，例如真实图像或表情贴纸，限制了VER模型的跨域泛化能力。为填补这一空白，我们引入了无监督跨域视觉情感识别（UCDVER）任务，旨在以无监督方式将视觉情感识别从源域（例如真实图像）泛化到低资源目标域（例如表情贴纸）。与传统的无监督域适应问题相比，UCDVER提出了两个关键挑战：显著的情感表达变异性与情感分布偏移。为缓解这些问题，我们提出了知识对齐反事实增强扩散感知（KCDP）框架。具体而言，KCDP利用VLM在共享知识空间中对齐情感表示，并引导扩散模型以改善视觉情感感知。此外，反事实增强语言-图像情感对齐（CLIEA）方法为目标域生成高质量的伪标签。大量实验表明，我们的模型在感知能力和泛化能力上均超越了SOTA模型，例如，较SOTA VER模型TGCA-PVT提升了12%。项目主页位于 https://yinwen2019.github.io/ucdver 。
引用
@article{arxiv.2505.19694,
title = {Knowledge-Aligned Counterfactual-Enhancement Diffusion Perception for Unsupervised Cross-Domain Visual Emotion Recognition},
author = {Wen Yin and Yong Wang and Guiduo Duan and Dongyang Zhang and Xin Hu and Yuan-Fang Li and Tao He},
journal= {arXiv preprint arXiv:2505.19694},
year = {2025}
}
备注
Accepted at CVPR 2025