中文

ArtAdapter:基于多级风格编码器与显式自适应的文本到图像风格迁移

计算机视觉与模式识别 2024-03-27 v2

摘要

本工作提出了 ArtAdapter,一个变革性的文本到图像 (T2I) 风格迁移框架,它超越了颜色、笔触和物体形状的传统限制,能够捕捉构图和独特艺术表现力等高级风格元素。通过将多级风格编码器与我们提出的显式自适应机制相结合,ArtAdapter 在风格迁移中实现了前所未有的保真度,确保与文本描述的紧密对齐。此外,辅助内容适配器 (Auxiliary Content Adapter, ACA) 的引入有效地将内容与风格分离,减轻了从风格参考中借用内容的问题。而且,我们新颖的快速微调方法可以进一步增强零样本风格表示,同时缓解过拟合的风险。综合评估证实,ArtAdapter 超越了当前的最先进方法。

关键词

引用

@article{arxiv.2312.02109,
  title  = {ArtAdapter: Text-to-Image Style Transfer using Multi-Level Style Encoder and Explicit Adaptation},
  author = {Dar-Yen Chen and Hamish Tennent and Ching-Wen Hsu},
  journal= {arXiv preprint arXiv:2312.02109},
  year   = {2024}
}