少即是多：图像条件特征中的掩码元素避免风格迁移扩散模型的内容泄露
计算机视觉与模式识别
2025-02-12 v1
摘要
给定风格参考图像作为额外的图像条件，文本到图像扩散模型已展现出令人印象深刻的能力，能够生成既包含文本提示内容又采用参考图像视觉风格的图像。然而，当前最先进的方法往往难以从风格参考图像中解耦内容和风格，导致内容泄露等问题。为解决这一问题，我们提出了一种基于掩码的方法，无需调整任何模型参数即可高效地将内容与风格解耦。通过简单地掩码风格参考图像特征中的特定元素，我们揭示了一个关键但尚未被充分探索的原则：使用适当选择的较少条件（例如丢弃若干图像特征元素）进行引导，可以高效地避免不必要的内容流入扩散模型，从而提升文本到图像扩散模型的风格迁移性能。本文在理论和实验两方面均验证了这一发现。大量跨多种风格的实验证明了基于掩码方法的有效性，并支持我们的理论结果。
引用
@article{arxiv.2502.07466,
title = {Less is More: Masking Elements in Image Condition Features Avoids Content Leakages in Style Transfer Diffusion Models},
author = {Lin Zhu and Xinbing Wang and Chenghu Zhou and Qinying Gu and Nanyang Ye},
journal= {arXiv preprint arXiv:2502.07466},
year = {2025}
}