InfoStyler：用于艺术风格迁移的解耦信息瓶颈
计算机视觉与模式识别
2023-08-01 v1
摘要
艺术风格迁移旨在将艺术作品的风格迁移到照片上，同时保持其原始整体内容。许多先前工作专注于设计各种迁移模块，将风格统计迁移到内容图像上。尽管有效，但由于从一开始便忽视了对内容特征与风格特征的清晰解耦，它们难以在内容保持与风格迁移之间取得平衡。为解决此问题，我们提出一种新颖的信息解耦方法，名为 InfoStyler，以从预训练编码网络中捕获内容与风格表示的最小充分信息。InfoStyler 通过将风格统计从内容图像中消除、并将内容结构从风格图像中移除，将解耦表示学习表述为一个信息压缩问题。此外，为进一步促进解耦学习，通过重构内容与风格域，提出了一种跨域信息瓶颈（IB）学习策略。大量实验表明，我们的 InfoStyler 能够合成高质量风格化图像，同时平衡内容结构保持与风格图案丰富度。
引用
@article{arxiv.2307.16227,
title = {InfoStyler: Disentanglement Information Bottleneck for Artistic Style Transfer},
author = {Yueming Lyu and Yue Jiang and Bo Peng and Jing Dong},
journal= {arXiv preprint arXiv:2307.16227},
year = {2023}
}
备注
Accepted by TCSVT 2023