Puff-Net：基于纯内容与风格特征融合网络的高效风格迁移
计算机视觉与模式识别
2024-05-31 v1
摘要
风格迁移旨在用风格图像的艺术特征渲染图像，同时保持原始结构。针对该任务已提出了各种方法，但仍存在一些挑战。例如，基于CNN的方法难以处理输入图像之间的全局信息和长程依赖关系，为此提出了基于Transformer的方法。尽管Transformer能更好地建模内容图像和风格图像之间的关系，但它们需要高成本的硬件和耗时的推理。为了解决这些问题，我们设计了一种仅包含编码器的新型Transformer模型，从而显著降低了计算成本。此外，我们还发现现有的风格迁移方法可能导致图像风格化不足或内容缺失。为了实现更好的风格化，我们设计了内容特征提取器和风格特征提取器，基于此可以将纯内容和纯风格图像输入到Transformer中。最后，我们提出了一种名为Puff-Net的新型网络，即纯内容与风格特征融合网络。通过定性和定量实验，我们展示了我们的模型相对于文献中最先进方法的优势。
引用
@article{arxiv.2405.19775,
title = {Puff-Net: Efficient Style Transfer with Pure Content and Style Feature Fusion Network},
author = {Sizhe Zheng and Pan Gao and Peng Zhou and Jie Qin},
journal= {arXiv preprint arXiv:2405.19775},
year = {2024}
}
备注
11 pages, 11 figures, to be published in IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2024)