面向全到空房间生成的结构感知特征编码与软语义区域自适应归一化
计算机视觉与模式识别
2021-12-13 v1
摘要
将带家具的房间图像转换为仅含背景的图像这一任务极具挑战性，因为它要求在大幅改变场景上下文的同时仍保持整体布局与风格。为获取照片真实且结构一致的背景，现有深度学习方法要么采用图像修复方法，要么将场景布局的学习作为独立任务并在后续并非完全可微的语义区域自适应归一化模块中加以利用。为克服这些缺陷，我们将场景布局生成视为特征线性变换问题，并提出一种简洁而有效的调整后完全可微软语义区域自适应归一化模块（softSEAN）块。我们在减弱现实与深度估计任务中展示了其适用性，我们的方法除具备降低训练复杂度与缓解不可微问题的优势外，在定量与定性上均超越对比方法。我们的 softSEAN 块可作为即插即用模块用于现有的判别与生成模型。实现代码见 vcl3d.github.io/PanoDR/。
引用
@article{arxiv.2112.05396,
title = {Towards Full-to-Empty Room Generation with Structure-Aware Feature Encoding and Soft Semantic Region-Adaptive Normalization},
author = {Vasileios Gkitsas and Nikolaos Zioulis and Vladimiros Sterzentsenko and Alexandros Doumanoglou and Dimitrios Zarpalas},
journal= {arXiv preprint arXiv:2112.05396},
year = {2021}
}