HiCAST：基于适配器增强扩散模型的高度定制化任意风格迁移
计算机视觉与模式识别
2024-01-12 v1 人工智能
摘要
任意风格迁移（AST）的目标是将风格参考图像的艺术特征注入给定的图像或视频。现有方法通常侧重于追求风格与内容之间的平衡，而忽略了灵活且可定制的风格化结果这一重要需求，从而限制了其实际应用。为解决这一关键问题，我们提出了一种新颖的AST方法——HiCAST，它能够根据多种语义线索来源显式地定制风格化结果。具体而言，我们的模型基于潜在扩散模型（LDM）构建，并精心设计以吸收内容和风格实例作为LDM的条件。其特点是引入了“风格适配器”，允许用户通过对齐LDM中的多层次风格信息和内在知识来灵活操控输出结果。最后，我们进一步扩展模型以执行视频AST。我们利用一种新颖的学习目标进行视频扩散模型训练，在保持风格化强度的前提下，显著提高了跨帧时间一致性。定性与定量比较以及全面的用户研究表明，我们的HiCAST在生成视觉上合理的风格化结果方面优于现有的最先进方法。
引用
@article{arxiv.2401.05870,
title = {HiCAST: Highly Customized Arbitrary Style Transfer with Adapter Enhanced Diffusion Models},
author = {Hanzhang Wang and Haoran Wang and Jinze Yang and Zhongrui Yu and Zeke Xie and Lei Tian and Xinyan Xiao and Junjun Jiang and Xianming Liu and Mingming Sun},
journal= {arXiv preprint arXiv:2401.05870},
year = {2024}
}