通过规划学习：语言引导的全局图像编辑
计算机视觉与模式识别
2021-06-25 v1
摘要
近年来，语言引导的全局图像编辑随着应用潜力的增长而受到越来越多的关注。然而，先前基于 GAN 的方法不仅局限于特定领域、低分辨率数据，还缺乏可解释性。为克服这些共同困难，我们开发了文本到操作模型，将模糊的编辑语言请求映射为一系列编辑操作，例如改变对比度、亮度和饱和度。每个操作都是可解释且可微分的。此外，该任务中唯一的监督是目标图像，这不足以稳定训练序列决策。因此，我们提出了一种新颖的操作规划算法，从目标图像生成可能的编辑序列作为伪真值。在新收集的 MA5k-Req 数据集与 GIER 数据集上的对比实验显示了我们方法的优势。代码见 https://jshi31.github.io/T2ONet。
引用
@article{arxiv.2106.13156,
title = {Learning by Planning: Language-Guided Global Image Editing},
author = {Jing Shi and Ning Xu and Yihang Xu and Trung Bui and Franck Dernoncourt and Chenliang Xu},
journal= {arXiv preprint arXiv:2106.13156},
year = {2021}
}
备注
Accepted by CVPR2021