基于多扩张损失的分割图语义编辑
计算机视觉与模式识别
2020-10-19 v1 人工智能
摘要
分割图上的语义编辑已被提出作为图像生成的中间接口，因其在各类图像生成任务中提供灵活而强大的辅助。本文旨在提升以语义输入为条件的编辑分割图的质量。尽管近期研究广泛采用全局与局部对抗损失来生成图像以提升图像质量，我们发现它们遭受掩码区域边界区错位之苦。为此，我们提出 MExGAN 用于分割图语义编辑，其使用一种新颖的多扩张（MEx）损失，通过对 MEx 区域上的对抗损失实现。每个 MEx 区域以生成掩码区域为多数、以原始上下文边界为少数。为提升 MEx 损失的便利性与稳定性，我们进一步提出近似 MEx（A-MEx）损失。此外，不同于先前模型以整图一部分构建分割图语义编辑训练数据而导致模型性能下降，MExGAN 应用整图构建训练数据。在分割图语义编辑与自然图像修复上的大量实验显示了在四个数据集上的竞争性结果。
引用
@article{arxiv.2010.08128,
title = {Semantic Editing On Segmentation Map Via Multi-Expansion Loss},
author = {Jianfeng He and Xuchao Zhang and Shuo Lei and Shuhui Wang and Qingming Huang and Chang-Tien Lu and Bei Xiao},
journal= {arXiv preprint arXiv:2010.08128},
year = {2020}
}