InstaStyle：风格化图像的反演噪声暗藏风格顾问之效
计算机视觉与模式识别
2024-07-15 v3
摘要
风格化文本到图像生成旨在根据文本描述并参照少量参考图像所指定的风格来创建图像。然而，不同参考图像之间细微的风格差异会阻碍模型准确学习目标风格。本文提出 InstaStyle，一种仅需单张参考图像即可生成高保真风格化图像的新方法。我们的方法基于如下发现：风格化参考图像的反演噪声本身携带风格信号，其非零信噪比即为佐证。我们采用 DDIM 反演从参考图像中提取该噪声，并利用扩散模型从此“风格”噪声生成新的风格化图像。此外，文本提示固有的模糊性与偏差会妨碍风格的精确传达。为此，我们通过提示精炼引入可学习的风格 token，从而增强对参考图像风格描述的准确性。定性与定量实验结果表明，InstaStyle 优于当前基准方法。进一步，我们的方法在混合反演噪声的风格组合这一创造性任务中也展现出能力。
引用
@article{arxiv.2311.15040,
title = {InstaStyle: Inversion Noise of a Stylized Image is Secretly a Style Adviser},
author = {Xing Cui and Zekun Li and Pei Pei Li and Huaibo Huang and Xuannan Liu and Zhaofeng He},
journal= {arXiv preprint arXiv:2311.15040},
year = {2024}
}
备注
Accepted by European Conference on Computer Vision (ECCV 2024). Project page: https://cuixing100876.github.io/instastyle.github.io/