Semantix: 一种能量引导的语义风格迁移采样器
计算机视觉与模式识别
2025-03-31 v1
摘要
近期在风格与外观迁移方面的进展令人瞩目，但大多数方法将全局风格与局部外观迁移分离处理，忽略了语义对应关系。此外，图像和视频任务通常被单独处理，缺乏对二者集成的关注。为此，本文提出一种新任务——语义风格迁移(Semantic Style Transfer)，即基于语义对应关系将参考图像的风格与外观特征迁移到目标视觉内容上。随后，我们提出一种无训练方法Semantix——一种能量引导的采样器，专为语义风格迁移设计，能够同时基于预训练扩散模型的语义理解能力指导风格与外观迁移。此外，作为采样器，Semantix可无缝应用于图像和视频模型，使语义风格迁移在各种视觉媒介上通用。具体而言，当通过 SDE 将参考图像和上下文图像或视频反转到噪声空间后，Semantix利用精心设计的能量函数引导采样过程，包括三个关键组件：风格特征引导、空间特征引导以及语义距离作为正则化项。实验结果表明，Semantix不仅有效实现了图像和视频之间的语义风格迁移，且在两个领域均超越了现有最先进解决方案。项目网址为 https://huiang-he.github.io/semantix/
引用
@article{arxiv.2503.22344,
title = {Semantix: An Energy Guided Sampler for Semantic Style Transfer},
author = {Huiang He and Minghui Hu and Chuanxia Zheng and Chaoyue Wang and Tat-Jen Cham},
journal= {arXiv preprint arXiv:2503.22344},
year = {2025}
}
备注
28 pages, 19 figures, Accepted to ICLR 2025