一致性风格迁移
计算机视觉与模式识别
2022-01-10 v1
摘要
近来，注意力任意风格迁移方法被提出以实现细粒度结果，其通过操纵内容与风格特征之间的逐点相似性来进行风格化。然而，基于特征点的注意力机制忽略了特征多流形分布，其中每个特征流形对应图像中的一个语义区域。因此，统一的内容语义区域被来自不同风格语义区域的高度相异图案所渲染，产生具有视觉伪影的不一致风格化结果。我们提出渐进注意力流形对齐（PAMA）来缓解此问题，其重复应用注意力操作与空间感知插值。注意力操作根据内容特征的空间分布动态重排风格特征，使内容与风格流形在特征图上对应。随后空间感知插值在对应的内容与风格流形之间自适应插值以增加其相似性。通过逐步将内容流形对齐到风格流形，所提出的PAMA在避免语义区域不一致的同时实现了最先进的性能。代码见 https://github.com/computer-vision2022/PAMA。
引用
@article{arxiv.2201.02233,
title = {Consistent Style Transfer},
author = {Xuan Luo and Zhen Han and Lingkang Yang and Lingling Zhang},
journal= {arXiv preprint arXiv:2201.02233},
year = {2022}
}
备注
10 pages, 11 figures