按词作画

Alex Andonian; Sabrina Osmany; Audrey Cui; YeonHwan Park; Ali Jahanian; Antonio Torralba; David Bau

按词作画

计算机视觉与模式识别 2023-03-27 v3 人工智能图形学

作者: Alex Andonian , Sabrina Osmany , Audrey Cui , YeonHwan Park , Ali Jahanian , Antonio Torralba , David Bau

摘要

我们研究零样本语义图像绘制问题。不同于仅使用具体颜色或有限语义概念将修改绘制到图像中，我们探讨如何基于开放的全文本描述创建语义绘制：我们的目标是可以指向合成图像中的某个位置并施加任意新概念，如“乡村风”“奢华”或“快乐的狗”。为此，我们的方法将最先进的真实图像生成模型与最先进的文本-图像语义相似度网络相结合。我们发现，要进行大幅修改，使用非梯度方法探索潜空间十分重要，且需放宽GAN的计算以针对特定区域进行更改。我们开展用户研究，将我们的方法与若干基线进行比较。

关键词

零样本语义图像绘制生成模型文本-图像相似度潜空间 GAN 用户研究

引用

@article{arxiv.2103.10951,
  title  = {Paint by Word},
  author = {Alex Andonian and Sabrina Osmany and Audrey Cui and YeonHwan Park and Ali Jahanian and Antonio Torralba and David Bau},
  journal= {arXiv preprint arXiv:2103.10951},
  year   = {2023}
}

备注

10 pages, 9 figures

按词作画

摘要

关键词

引用

备注

相关论文