保留情感语义与特征对齐的 CycleGAN 用于视觉情感自适应
计算机视觉与模式识别
2020-11-26 v1 人工智能
多媒体
摘要
得益于大规模标注训练数据，深度神经网络（DNNs）在许多视觉与多媒体任务中取得了显著成功。然而，由于领域偏移的存在，训练良好的 DNNs 所学到的知识难以很好地泛化到标注稀少的新领域或数据集。无监督领域自适应（UDA）研究将在一个有标注源领域上训练的模型迁移到另一个无标注目标领域的问题。本文关注视觉情感分析中的 UDA，涵盖情感分布学习与主导情感分类。具体而言，我们设计了一种新颖的端到端循环一致对抗模型，称为 CycleEmotionGAN++。首先，通过引入多尺度结构化循环一致性损失改进 CycleGAN，我们生成一个自适应领域以在像素级上对齐源领域与目标领域。在图像翻译过程中，我们提出动态情感语义一致性损失以保留源图像的情感标签。其次，我们在自适应领域上训练一个可迁移的任务分类器，并在自适应领域与目标领域之间进行特征级对齐。我们在 Flickr-LDL 与 Twitter-LDL 数据集上进行了分布学习的广泛 UDA 实验，并在 ArtPhoto 与 FI 数据集上进行了情感分类实验。结果表明，与最先进的 UDA 方法相比，所提出的 CycleEmotionGAN++ 带来了显著改进。
引用
@article{arxiv.2011.12470,
title = {Emotional Semantics-Preserved and Feature-Aligned CycleGAN for Visual Emotion Adaptation},
author = {Sicheng Zhao and Xuanbai Chen and Xiangyu Yue and Chuang Lin and Pengfei Xu and Ravi Krishna and Jufeng Yang and Guiguang Ding and Alberto L. Sangiovanni-Vincentelli and Kurt Keutzer},
journal= {arXiv preprint arXiv:2011.12470},
year = {2020}
}