AdaAttN：重新审视任意神经风格迁移中的注意力机制
计算机视觉与模式识别
2021-08-12 v2
摘要
快速的任意神经风格迁移因其在各类应用中的灵活性而受到学术、工业与艺术界的广泛关注。现有方案要么在不考虑特征分布的情况下将深层风格特征注意力融合至深层内容特征，要么根据风格自适应归一化深层内容特征以匹配其全局统计量。尽管有效，但由于未探索浅层特征且未在局部考虑特征统计量，它们易于产生具有令人不悦的局部畸变的不自然输出。为缓解该问题，本文提出一种新颖的注意力与归一化模块，称为自适应注意力归一化（AdaAttN），以逐点自适应地执行注意力归一化。具体而言，空间注意力分数由内容与风格图像的浅层及深层特征学习得到。随后，将每个风格特征点视为所有风格特征点的注意力加权输出的一个分布，计算逐点加权统计量。最后，对内容特征进行归一化，使其展现出与所计算逐点加权风格特征统计量相同的局部特征统计量。此外，基于 AdaAttN 导出一种新的局部特征损失以增强局部视觉质量。我们亦对 AdaAttN 作轻微修改，使其适用于视频风格迁移。实验表明，我们的方法实现了最先进的任意图像/视频风格迁移。代码与模型已公开。
引用
@article{arxiv.2108.03647,
title = {AdaAttN: Revisit Attention Mechanism in Arbitrary Neural Style Transfer},
author = {Songhua Liu and Tianwei Lin and Dongliang He and Fu Li and Meiling Wang and Xin Li and Zhengxing Sun and Qian Li and Errui Ding},
journal= {arXiv preprint arXiv:2108.03647},
year = {2021}
}
备注
Accepted by ICCV 2021. Codes will be released on https://github.com/wzmsltw/AdaAttN