CFFT-GAN：用于基于范例图像翻译的跨域特征融合Transformer
计算机视觉与模式识别
2023-02-06 v1
摘要
基于范例的图像翻译是指在给定某输入图像的条件下，生成具有期望风格图像的任务。当前大多数方法学习两个输入域之间的对应关系，而缺乏对域内部信息的挖掘。本文中，我们提出一种更具通用性的学习方法，将两个域的特征视为一个整体，同时学习域间对应关系和域内潜在信息交互。具体而言，我们提出跨域特征融合Transformer（CFFT）来学习域间与域内特征融合。基于CFFT，所提出的CFFT-GAN在基于范例的图像翻译上表现良好。此外，CFFT-GAN能够通过级联CFFT模块来解耦并融合来自多个域的特征。我们在多个图像翻译任务上进行了丰富的定量与定性实验，结果表明我们的方法相较于SOTA方法具有优越性。消融实验显示了我们所提出的CFFT的重要性。应用实验结果反映了我们方法的潜力。
引用
@article{arxiv.2302.01608,
title = {CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation},
author = {Tianxiang Ma and Bingchuan Li and Wei Liu and Miao Hua and Jing Dong and Tieniu Tan},
journal= {arXiv preprint arXiv:2302.01608},
year = {2023}
}
备注
Accepted by AAAI2023