UMFA：一种基于 U-Net 与多层特征聚合的真实感风格迁移方法
计算机视觉与模式识别
2021-12-01 v1 图像与视频处理
摘要
本文提出一种真实感风格迁移网络，以强调真实感图像风格化的自然效果。一般而言，图像内容失真与细节缺失是风格迁移领域的两个典型问题。为此，我们设计了一种新颖的框架，采用 U-Net 结构以保持丰富的空间线索，并借助多层特征聚合（MFA）方法在风格化处理中同时提供由浅层获取的细节。特别地，基于 dense block 的编码器与解码器共同堆叠形成 U-Net 的对称结构，以实现有效的特征提取与图像重建。此外，在跳跃连接位置插入基于 MFA 与“自适应实例归一化”（AdaIN）的迁移模块以实现风格化。相应地，风格化图像拥有真实照片的纹理，并保留了丰富的内容细节，且无需引入任何掩码或后处理步骤。在公开数据集上的实验结果表明，我们的方法以更低的风格损失实现了更忠实的结构相似性，反映了方法的有效性与优点。
引用
@article{arxiv.2108.06113,
title = {UMFA: A photorealistic style transfer method based on U-Net and multi-layer feature aggregation},
author = {D. Y. Rao and X. J. Wu and H. Li and J. Kittler and T. Y. Xu},
journal= {arXiv preprint arXiv:2108.06113},
year = {2021}
}