图像情感迁移
计算机视觉与模式识别
2020-06-23 v1
摘要
在本工作中,我们提出了一个重要但尚待探索的研究任务——图像情感迁移。与图像到图像翻译和图像风格迁移等其他已被充分研究的相近任务相比,迁移图像的情感更具挑战性。给定一张输入图像,其中每个所含对象的情感迁移规则可能完全不同,使得现有通过单张参考图像进行全局图像迁移的方法难以取得满意效果。本文中,我们提出了一种有效且灵活、在对象级别执行图像情感迁移的框架。它首先检测对象并提取其像素级掩码,然后在多张对应对象的参考图像引导下执行对象级情感迁移。针对核心的对象级情感迁移,我们提出了一种新颖的感知情感 GAN (SentiGAN)。训练 SentiGAN 时施加了全局图像级与局部对象级监督。更重要的是,应用了一种有效的内容解耦损失配合内容对齐步骤,以更好地解耦输入图像中残存的情感相关信息。我们在自建的面向对象的 VSO 数据集上进行了大量定量与定性实验,证明了所提框架的有效性。
引用
@article{arxiv.2006.11337,
title = {Image Sentiment Transfer},
author = {Tianlang Chen and Wei Xiong and Haitian Zheng and Jiebo Luo},
journal= {arXiv preprint arXiv:2006.11337},
year = {2020}
}