基于实例归一化的深度感知任意风格迁移
计算机视觉与模式识别
2020-07-09 v2 图像与视频处理
摘要
风格迁移是将一幅图像的内容以另一幅代表风格的图像的风格进行渲染的过程。Liu 等人 (2017) 的近期研究表明，Gatys 等人 (2016) 和 Johnson 等人 (2016) 的传统风格迁移方法无法复现内容图像的深度，而深度对于人类感知至关重要。他们建议在优化损失函数中通过额外的正则化项来保留深度图，从而强制保留深度图。然而，这些传统方法要么计算效率低，要么需要为每个风格训练一个单独的神经网络。Huang 等人 (2017) 的 AdaIN 方法无需训练单独模型即可高效迁移任意风格，但无法复现内容图像的深度图。我们提出对该方法的扩展，通过施加可变风格化强度来实现深度图保留。定性分析和用户评估研究的结果表明，与原始 AdaIN 风格迁移方法相比，所提方法提供了更好的风格化效果。
引用
@article{arxiv.1906.01123,
title = {Depth-Aware Arbitrary Style Transfer Using Instance Normalization},
author = {Victor Kitov and Konstantin Kozlovtsev and Margarita Mishustina},
journal= {arXiv preprint arXiv:1906.01123},
year = {2020}
}
备注
Replacement of the previous version due to the following improvements: depth estimation methods comparison added, better depth estimation network used, transformation to proximity map added with offset and contrast parameters. Dependency on these parameters shown, comparison of AdaIN and proposed method added, user evaluation study completely remade for improved version of the proposed method