StyleSSP：用于训练自由扩散方法风格迁移的起始点增强
计算机视觉与模式识别
2025-03-17 v2
摘要
训练自由扩散方法在风格迁移中取得了显著的成功，消除了对广泛训练或微调的需求。然而，由于缺乏针对风格信息提取的针对性训练以及对内容图像布局的限制，训练自由方法常常会导致原始内容的布局变化以及风格图像的内容泄漏。通过一系列实验，我们发现采样阶段的有效起始点显著增强了风格迁移过程。基于此发现，我们提出StyleSSP，专注于获得更好的起始点以解决原始内容的布局变化和风格图像的内容泄漏。StyleSSP包含两个关键组件：(1)频率操控：为了提高内容保留率，我们减少DDIM潜在变量的低频分量，使采样阶段能够更关注内容图像的布局；(2)通过反向传播的负向引导：为了缓解风格图像的内容泄漏，我们在反向传播阶段采用负向引导，以确保采样阶段的起始点远离风格图像的内容。实验表明，StyleSSP优于以前的训练自由风格迁移基线，尤其在保留原始内容和最小化风格图像的内容泄漏方面表现更佳。项目页面：https://github.com/bytedance/StyleSSP。
关键词
引用
@article{arxiv.2501.11319,
title = {StyleSSP: Sampling StartPoint Enhancement for Training-free Diffusion-based Method for Style Transfer},
author = {Ruojun Xu and Weijie Xi and Xiaodi Wang and Yongbo Mao and Zach Cheng},
journal= {arXiv preprint arXiv:2501.11319},
year = {2025}
}