学习将纹理显著性自适应注意力融入图像卡通化
计算机视觉与模式识别
2024-02-20 v4
摘要
从无监督图像到图像翻译的角度看，图像卡通化近来由生成对抗网络（GANs）主导，其中一个固有挑战是精确捕捉并充分迁移卡通特征风格（例如清晰边缘、平滑色彩明暗、抽象精细结构等）。现有先进模型试图通过对抗促进边缘、引入风格迁移损失或学习从多表示空间对齐风格来增强卡通化效果。本文表明，仅用基础对抗损失即可轻松实现更鲜明生动的卡通化效果。观察到卡通风格在卡通纹理显著的局部图像区域中更为明显，我们构建了一个与常规图像级分支并行的区域级对抗学习分支，其将对抗学习约束于卡通纹理显著的局部块上，以更好地感知与迁移卡通纹理特征。为此，提出一种新颖的卡通纹理显著性采样器（CTSS）模块，从训练数据中动态采样卡通纹理显著块。通过大量实验，我们证明对抗学习中的纹理显著性自适应注意力作为相关图像卡通化方法缺失的一环，对促进和增强图像卡通风格化具有重要意义，尤其针对高分辨率输入图像。
引用
@article{arxiv.2208.01587,
title = {Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization},
author = {Xiang Gao and Yuqi Zhang and Yingjie Tian},
journal= {arXiv preprint arXiv:2208.01587},
year = {2024}
}
备注
Proceedings of the 39th International Conference on Machine Learning (ICML), PMLR 162:7183-7207, 2022