基于IP适配器和ControlNet的多主体风格迁移注意力结构 ICAS

Fuwei Liu

基于IP适配器和ControlNet的多主体风格迁移注意力结构 ICAS

计算机视觉与模式识别 2025-04-21 v1 人工智能

作者: Fuwei Liu

摘要

生成多主体风格化图像仍是个挑战，主要因为难以明确定义风格属性(如颜色、纹理、氛围和结构)，并且在跨多个主体间持续应用这些属性更具困难。尽管最近的扩散式文本到图像模型取得了显著进展，现有方法通常依赖计算昂贵的反演程序或大规模风格化数据集。此外，这些方法常在保持多主体语义忠实性方面受限，受高推理成本的制约。为此，本文提出 ICAS(IP-适配器和ControlNet联合注意力结构)，一种高效且可控的多主体风格迁移框架。不同于全模型调优，ICAS 仅适配性地微调预训练扩散模型的内容注入分支，从而保留身份特定语义并增强风格可控性。通过将 IP-适配器用于自适应风格注入，结合ControlNet 实现结构条件化，该框架确保全局布局忠实保留，同时实现精准的局部风格合成。此外，ICAS 引入循环多主体内容嵌入机制，使其能在数据有限的场景下实现有效风格迁移，而无需大规模风格化语料库。广泛实验表明，ICAS 在结构保持、风格一致性和推理效率方面表现优异，为实际应用中的多主体风格迁移树立了新范式。

关键词

风格迁移扩散模型 ControlNet IP-适配器多主体

引用

@article{arxiv.2504.13224,
  title  = {ICAS: IP Adapter and ControlNet-based Attention Structure for Multi-Subject Style Transfer Optimization},
  author = {Fuwei Liu},
  journal= {arXiv preprint arXiv:2504.13224},
  year   = {2025}
}

备注

10 pages, 6 figures

基于IP适配器和ControlNet的多主体风格迁移注意力结构 ICAS

摘要

关键词

引用

备注

相关论文