每个属性都重要：用于基于句子的图像编辑的对比注意力
计算机视觉与模式识别
2021-10-22 v1 机器学习
多媒体
摘要
基于句子的图像编辑（Sentence-based Image Editing, SIE）旨在利用自然语言编辑图像。SIE 有潜力减少昂贵的人工编辑，近来引起广泛关注。然而，当查询句子包含多个可编辑属性时，现有方法难以产生准确编辑，甚至在属性编辑上失败。为应对该问题，本文通过聚焦于增强属性间差异，提出一种受对比训练启发的新型模型——对比注意力生成对抗网络（Contrastive Attention Generative Adversarial Network, CA-GAN）。具体而言，我们首先设计一种新颖的对比注意力模块，以扩大训练期间形成的随机属性组合之间的编辑差异。随后构建属性判别器以确保对每个属性的有效编辑。一系列实验表明，我们的方法在 CUB 和 COCO 数据集上多属性基于句子的图像编辑中能生成极具鼓舞的结果。我们的代码见 https://github.com/Zlq2021/CA-GAN
引用
@article{arxiv.2110.11159,
title = {Each Attribute Matters: Contrastive Attention for Sentence-based Image Editing},
author = {Liuqing Zhao and Fan Lyu and Fuyuan Hu and Kaizhu Huang and Fenglei Xu and Linyan Li},
journal= {arXiv preprint arXiv:2110.11159},
year = {2021}
}
备注
Accepted by BMVC 2021