InstantStyle-Plus：面向文本到图像生成的内容保真风格迁移
计算机视觉与模式识别
2024-07-02 v1
摘要
风格迁移是一种创新的过程，旨在创建保持原作品本质又拥抱另一作品视觉风格的图像。尽管扩散模型在个性化主题驱动或风格驱动应用中展现了惊人的生成能力，但现有的 SOTA 方法仍在实现内容保真与风格增强之间的无缝平衡方面面临挑战。例如，放大风格影响往往会削弱内容的结构完整性。为此，我们将风格迁移任务解构为三个核心要素：1）风格，关注图像的审美特征；2）空间结构，涉及视觉元素的几何布局与构图；3）语义内容，捕捉图像的概念意义。基于这些原则，我们引入 InstantStyle-Plus 方法，优先保持原始内容的完整性，同时无缝整合目标风格。具体而言，我们通过高效轻量化的过程完成风格注入，利用最新的 InstantStyle 框架实现。为强化内容保真，我们采用反向 content latent noise 作为初始化，并引入灵活的即插即用 tile ControlNet 以保留原图的固有布局。我们还融入全局语义适配器以提升语义内容的保真度。为防止风格信息被稀释，我们运用风格提取器作为判别器，提供额外的风格指导。代码将在 https://github.com/instantX-research/InstantStyle-Plus 提供。
关键词
引用
@article{arxiv.2407.00788,
title = {InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation},
author = {Haofan Wang and Peng Xing and Renyuan Huang and Hao Ai and Qixun Wang and Xu Bai},
journal= {arXiv preprint arXiv:2407.00788},
year = {2024}
}
备注
Technical Report