CCPL：用于通用风格迁移的对比相干保持损失
计算机视觉与模式识别
2022-07-20 v4
摘要
本文旨在设计一种普遍通用的风格迁移方法，能够联合执行艺术化、照片级真实和视频风格迁移，且训练时无需见到视频。以往的单帧方法对整幅图像施加强约束以维持时间一致性，这在许多情况下可能被破坏。相反，我们做出一个温和且合理的假设：全局不一致性由局部不一致性主导，并设计了一种应用于局部块的通用对比相干保持损失（Contrastive Coherence Preserving Loss，CCPL）。CCPL 能在风格迁移过程中保持内容源的相干性而不降低风格化效果。此外，它具备邻域调节机制，大幅减少了局部失真并显著提升了视觉质量。除在通用风格迁移上的优越性能外，它还可轻松扩展到其他任务，如图像到图像翻译。另外，为更好地融合内容与风格特征，我们提出简单协方差变换（Simple Covariance Transformation，SCT）以有效对齐内容特征与风格特征的二阶统计量。实验证明了所得到的模型在配备 CCPL 时对通用风格迁移的有效性。
引用
@article{arxiv.2207.04808,
title = {CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer},
author = {Zijie Wu and Zhen Zhu and Junping Du and Xiang Bai},
journal= {arXiv preprint arXiv:2207.04808},
year = {2022}
}
备注
Accepted by ECCV2022 as an oral paper; code url: https://github.com/JarrentWu1031/CCPL Video demo: https://youtu.be/scZuJCXhL14