记住你所绘：基于记忆的语义图像编辑
计算机视觉与模式识别
2021-07-28 v1
摘要
以自然语言进行图像编辑旨在根据语言描述引导图像修改，一直是计算机视觉与自然语言处理（NLP）领域的难题。目前已有诸多研究致力于该任务，但其性能仍远未达到生成逼真且符合文本描述的编辑图像的要求。因此，本文提出一种基于记忆的图像编辑网络（MIM-Net），引入从图像中学习到的一组记忆，在文本描述引导下合成纹理信息。我们提出一个带额外重建阶段的两阶段网络，以高效学习潜在记忆。为避免不必要的背景变化，我们提出目标定位单元（TLU）以聚焦于文本所指区域的编辑。此外，为学习鲁棒的记忆，我们进一步提出一种新颖的随机记忆训练损失。在四个流行数据集上的实验表明，相较现有方法，我们的方法性能更优。
引用
@article{arxiv.2107.12579,
title = {Remember What You have drawn: Semantic Image Manipulation with Memory},
author = {Xiangxi Shi and Zhonghua Wu and Guosheng Lin and Jianfei Cai and Shafiq Joty},
journal= {arXiv preprint arXiv:2107.12579},
year = {2021}
}