TSSAT：用于艺术风格迁移的两阶段统计感知变换
计算机视觉与模式识别
2023-09-13 v1
摘要
艺术风格迁移旨在通过目标艺术风格渲染给定照片来创作新的艺术图像。现有方法仅基于全局统计或局部块来学习风格，缺乏对实际绘制过程的细致考量。因此，风格化结果要么未能捕捉丰富多样的局部风格模式，要么包含风格图像中不需要的语义信息并偏离全局风格分布。为解决此问题，我们模仿人类的绘制过程，提出一种两阶段统计感知变换（TSSAT）模块，该模块首先通过对齐内容与风格特征的全局统计建立全局风格基础，然后以块方式交换局部统计（而非局部特征）来进一步丰富局部风格细节，显著改善了风格化效果。此外，为进一步增强内容与风格表示，我们引入两种新损失：基于注意力的内容损失和基于块风格损失，前者通过在风格化过程中强制保留内容图像中的语义关系来实现更好的内容保持，后者专注于增加风格图像与风格化图像之间的局部风格相似性。大量定性与定量实验验证了我们所提方法的有效性。
引用
@article{arxiv.2309.06004,
title = {TSSAT: Two-Stage Statistics-Aware Transformation for Artistic Style Transfer},
author = {Haibo Chen and Lei Zhao and Jun Li and Jian Yang},
journal= {arXiv preprint arXiv:2309.06004},
year = {2023}
}
备注
Accepted by ACM MM 2023