BATINet:背景感知的文本到图像合成与编辑网络
计算机视觉与模式识别
2023-08-14 v1
摘要
背景诱导的文本生图(BIT2I)旨在根据给定背景图像上的文本生成前景内容。多数研究聚焦于生成高质量前景内容,却忽略了两部分内容间的关系。本研究分析了新颖的背景感知文本生图(BAT2I)任务,其中生成内容与输入背景相匹配。我们提出了背景感知的文本到图像合成与编辑网络(BATINet),包含两个关键组件:位置检测网络(PDN)与协调网络(HN)。PDN 检测背景图像中文本相关对象的最合理位置。HN 参考背景风格信息协调生成内容。最后,我们重构了由多 GAN 与注意力模块组成的生成网络,以匹配更多用户偏好。此外,我们可将 BATINet 应用于文本引导的图像编辑,解决了对象形状编辑这一最具挑战性的任务。我们在 CUB 数据集上的定性与定量评估表明,所提模型优于其他当前最优方法。
引用
@article{arxiv.2308.05921,
title = {BATINet: Background-Aware Text to Image Synthesis and Manipulation Network},
author = {Ryugo Morita and Zhiqiang Zhang and Jinjia Zhou},
journal= {arXiv preprint arXiv:2308.05921},
year = {2023}
}
备注
Accepted to ICIP2023