SAFIN：基于自注意力分解实例归一化的任意风格迁移
计算机视觉与模式识别
2021-05-21 v2 人工智能
机器学习
摘要
艺术风格迁移旨在将一个图像的风格特征迁移到另一图像上，同时保留其内容。现有方法通常利用各种归一化技术，尽管这些方法在将多样纹理充分迁移到不同空间位置方面存在局限。基于自注意力（Self-Attention）的方法在一定程度上解决了该问题，但会出现不想要的伪影。受这些观察启发，本文旨在结合两者之长：自注意力与归一化。这产生了一个新的即插即用模块，我们称之为自注意力分解实例归一化（SAFIN）。SAFIN 本质上是一个空间自适应归一化模块，其参数通过对内容图与风格图进行注意力推断得到。我们证明，将 SAFIN 插入另一种 SOTA 方法的基网络可增强风格化效果。我们还开发了一种由小波变换构成、用于多尺度风格迁移的新基网络，其与 SAFIN 结合可产生视觉上更吸引人且带有更少不想要纹理的结果。
引用
@article{arxiv.2105.06129,
title = {SAFIN: Arbitrary Style Transfer With Self-Attentive Factorized Instance Normalization},
author = {Aaditya Singh and Shreeshail Hingane and Xinyu Gong and Zhangyang Wang},
journal= {arXiv preprint arXiv:2105.06129},
year = {2021}
}
备注
Accepted at ICME 2021, 5 Pages + 1 Page (references)