DeFLOCNet：基于灵活底层控制的深度图像编辑
计算机视觉与模式识别
2021-03-24 v1
摘要
在图像编辑场景中，用户期望的视觉内容填充输入图像的孔洞区域。通常由稀疏草图线和色点组成的粗粒度底层输入传达了用户用于内容创作的意图（即自由形式编辑）。现有方法将输入图像与这些底层控制拼接作为 CNN 输入，但相应的特征表示不足以传达用户意图，导致生成内容不忠实。本文提出 DeFLOCNet，它依赖深度编码器-解码器 CNN 在这些控制的深度特征表示中保留其引导。在每个跳跃连接层，我们设计了一个结构生成块。我们不是将底层控制附加到输入图像上，而是将这些控制直接注入每个结构生成块，以在 CNN 特征空间中进行草图线细化与颜色传播。随后我们将调制后的特征与原始解码器特征拼接用于结构生成。同时，DeFLOCNet 引入另一解码器分支用于纹理生成与细节增强。结构与纹理均在解码器中渲染，从而产生符合用户意图的编辑结果。在基准上的实验表明，DeFLOCNet 能有效转换不同用户意图以创建视觉愉悦的内容。
引用
@article{arxiv.2103.12723,
title = {DeFLOCNet: Deep Image Editing via Flexible Low-level Controls},
author = {Hongyu Liu and Ziyu Wan and Wei Huang and Yibing Song and Xintong Han and Jing Liao and Bing Jiang and Wei Liu},
journal= {arXiv preprint arXiv:2103.12723},
year = {2021}
}
备注
Accepted by CVPR2021