面向建筑摄影的时段神经风格迁移

建筑摄影是一种摄影类型，专注于在前景捕捉建筑或结构，背景具有戏剧性光照。受近期图像到图像翻译方法成功的启发，我们旨在为建筑摄影执行风格迁移。然而，建筑摄影中特殊的构图给此类照片的风格迁移带来了巨大挑战。现有神经风格迁移方法将建筑图像视为单一整体，会产生不匹配的色度并破坏原始建筑的几何特征，导致不真实的光照、错误的色彩再现以及重影、外观畸变或色彩失配等视觉伪影。本文中，我们为建筑摄影专门化了一种神经风格迁移方法。我们的方法在一个双分支神经网络中处理建筑照片前景与背景的构图，分别考虑前景与背景的风格迁移。我们的方法包括分割模块、基于学习的图像到图像翻译模块以及图像混合优化模块。我们利用一天中不同魔幻时刻捕获的、无约束户外建筑照片新数据集训练了图像到图像翻译神经网络，并借助额外语义信息以实现更好的色度匹配与几何保持。实验表明，我们的方法可在前景与背景上生成逼真光照与色彩再现，并在定量与定性上优于通用图像到图像翻译与任意风格迁移基线。我们的代码与数据见 https://github.com/hkust-vgd/architectural_style_transfer。