基于循环注意力模型的语言驱动图像编辑
计算机视觉与模式识别
2018-06-12 v2 计算与语言
机器学习
摘要
我们研究基于语言的图像编辑（LBIE）问题。给定源图像与自然语言描述，我们希望通过基于该描述编辑源图像来生成目标图像。我们针对 LBIE 的两个子任务提出了一个通用建模框架：基于语言的图像分割与图像上色。该框架使用循环注意力模型来融合图像与语言特征。我们不为每个区域使用固定步长，而是引入一个终止门，针对图像的每个区域动态决定在每步推断后是否继续从文本描述中外推额外信息。该框架的有效性在三个数据集上得到验证。首先，我们引入一个名为 CoSaL 的合成数据集，以评估我们 LBIE 系统的端到端性能。其次，我们展示该框架在 ReferIt 数据集的图像分割上取得了最先进的性能。第三，我们给出了在 Oxford-102 Flowers 数据集上首个基于语言的上色结果。
引用
@article{arxiv.1711.06288,
title = {Language-Based Image Editing with Recurrent Attentive Models},
author = {Jianbo Chen and Yelong Shen and Jianfeng Gao and Jingjing Liu and Xiaodong Liu},
journal= {arXiv preprint arXiv:1711.06288},
year = {2018}
}
备注
Accepted to CVPR 2018 as a Spotlight