用于任意风格迁移的全到键注意力机制
计算机视觉与模式识别
2023-04-07 v2
摘要
基于注意力的任意风格迁移研究在合成生动局部风格细节方面展现出良好性能。它们通常采用全到全注意力机制——内容特征每个位置与风格特征所有位置充分匹配。然而，全到全注意力易产生失真风格图案且具有二次复杂度，限制了任意风格迁移的效果与效率。本文提出一种新颖的全到键注意力机制——内容特征每个位置匹配到风格特征的稳定键位置——更契合风格迁移特性。具体而言，其融合了两种新提出的注意力形式：分布式与渐进式注意力。分布式注意力将注意力分配给刻画局部区域风格分布的键风格表示；渐进式注意力从粗粒度区域到细粒度键位置进行关注。由此构成的模块称为 StyA2K，在保持语义结构与渲染一致风格图案方面表现优异。与最先进方法的定性与定量比较证明了本方法的优越性能。
引用
@article{arxiv.2212.04105,
title = {All-to-key Attention for Arbitrary Style Transfer},
author = {Mingrui Zhu and Xiao He and Nannan Wang and Xiaoyu Wang and Xinbo Gao},
journal= {arXiv preprint arXiv:2212.04105},
year = {2023}
}