基于风格保持调制的上下文一致语义图像编辑
计算机视觉与模式识别
2022-07-14 v1
摘要
语义图像编辑利用局部语义标签图在编辑区域生成所需内容。近期工作借用SPADE块实现语义图像编辑。然而，由于编辑区域与周围像素间的风格差异，它无法产生令人满意的结果。我们将此归因于SPADE仅使用与图像无关的局部语义布局而忽略了已知像素中包含的特有图像风格。为解决此问题，我们提出一种风格保持调制（SPM），包含两种调制过程：第一种调制融合上下文风格与语义布局，然后生成两个融合调制参数；第二种调制利用融合参数对特征图进行调制。通过使用这两种调制，SPM能在注入给定语义布局的同时保持特有图像上下文风格。此外，我们设计了一种渐进式架构以由粗到细的方式生成编辑内容。所提方法能获得上下文一致的结果，并显著缓解生成区域与已知像素间不悦人的边界。
引用
@article{arxiv.2207.06252,
title = {Context-Consistent Semantic Image Editing with Style-Preserved Modulation},
author = {Wuyang Luo and Su Yang and Hong Wang and Bo Long and Weishan Zhang},
journal= {arXiv preprint arXiv:2207.06252},
year = {2022}
}
备注
ECCV 2022