先桥接再重新开始:为无源视觉情感适应生成目标相关中间模型
计算机视觉与模式识别
2024-12-19 v1 人工智能
摘要
视觉情感识别(VER)旨在理解人类对不同视觉刺激的情感反应,已引起越来越多的关注。由于情感的主观性和模糊性,标注可靠的大规模数据集十分困难。为减少对数据标注的依赖,域适应提供了一种替代方案,即将在标注源数据上训练的模型适应到未标注的目标数据。传统的域适应方法需要访问源数据。然而,出于隐私考虑,源情感数据可能无法获取。为解决这一问题,我们提出了一项未探索的任务:用于VER的无源域适应(SFDA),即在适应过程中无法访问源数据。为实现这一目标,我们提出了一种名为“先桥接再重新开始”(BBA)的新框架,包含两个步骤:域桥接模型生成(DMG)和目标相关模型适应(TMA)。首先,DMG通过生成中间模型来桥接跨域差距,避免在两个差异显著的VER数据集之间直接对齐。然后,TMA重新开始训练目标模型以适应目标结构,避免源特定知识的影响。我们在VER的六个SFDA设置上进行了大量实验。结果表明,BBA有效,与最先进的SFDA方法相比取得了显著的性能提升,并优于代表性的无监督域适应方法。
引用
@article{arxiv.2412.13577,
title = {Bridge then Begin Anew: Generating Target-relevant Intermediate Model for Source-free Visual Emotion Adaptation},
author = {Jiankun Zhu and Sicheng Zhao and Jing Jiang and Wenbo Tang and Zhaopan Xu and Tingting Han and Pengfei Xu and Hongxun Yao},
journal= {arXiv preprint arXiv:2412.13577},
year = {2024}
}
备注
Accepted by AAAI2025