面向复杂城市场景编辑的语义引导修复网络
计算机视觉与模式识别
2020-10-20 v1
摘要
对复杂场景图像进行编辑以重建、插入和/或移除特定目标实例是一项具有挑战性的任务。复杂场景包含多种语义和物体，它们经常杂乱或模糊，从而阻碍了修复模型的性能。传统技术通常依赖结构信息（如多阶段方法中的物体轮廓），生成不可靠的结果和边界。在这项工作中，我们提出一种新颖的深度学习模型，通过移除用户指定的图像部分并在该场景中连贯地插入新物体（例如汽车或行人）来更改复杂城市场景。受近期图像修复工作的启发，我们提出的方法利用语义分割对图像的内容和结构建模，并学习待插入物体的最佳形状和位置。为生成可靠结果，我们设计了一种新的解码器模块，将语义分割与生成任务结合以更好地引导新物体和场景的生成，其必须在语义上与图像一致。我们在两个大规模城市场景数据集（Cityscapes 和 Indian Driving）上进行的实验表明，我们提出的方法成功解决了复杂城市场景的语义引导修复问题。
引用
@article{arxiv.2010.09334,
title = {Semantic-Guided Inpainting Network for Complex Urban Scenes Manipulation},
author = {Pierfrancesco Ardino and Yahui Liu and Elisa Ricci and Bruno Lepri and Marco De Nadai},
journal= {arXiv preprint arXiv:2010.09334},
year = {2020}
}
备注
To appear in the Proceedings of IEEE ICPR 2020