MRStyle：基于多模态参考的色彩风格迁移统一框架
计算机视觉与模式识别
2024-09-10 v1
摘要
在本文中，我们介绍了 MRStyle，这是一个综合框架，能够利用包括图像和文本在内的多模态参考进行色彩风格迁移。为了实现两种模态的统一风格特征空间，我们首先开发了一个名为 IRStyle 的神经网络，用于为图像参考生成风格化的 3D 查找表。这是通过将交互式双映射网络与结合的监督学习流水线相集成来实现的，从而带来三个关键优势：消除视觉伪影、以低内存高效处理高分辨率图像，以及在色彩风格变化显著的情况下仍保持风格一致性。对于文本参考，我们将 stable diffusion 先验的文本特征与 IRStyle 的风格特征对齐，以执行文本引导的色彩风格迁移（TRStyle）。我们的 TRStyle 方法在训练和推理阶段均非常高效，并产生了显著的开放集文本引导迁移结果。在图像和文本设置下的广泛实验表明，我们所提出的方法在定性和定量评估中均优于 state-of-the-art。
引用
@article{arxiv.2409.05250,
title = {MRStyle: A Unified Framework for Color Style Transfer with Multi-Modality Reference},
author = {Jiancheng Huang and Yu Gao and Zequn Jie and Yujie Zhong and Xintong Han and Lin Ma},
journal= {arXiv preprint arXiv:2409.05250},
year = {2024}
}