面向基于范例图像翻译的非平衡特征传输
计算机视觉与模式识别
2021-06-22 v1
摘要
尽管GAN在基于语义分割、边缘图等不同条件输入的图像翻译中取得巨大成功，以参考风格生成高保真真实图像仍是条件图像到图像翻译中的重大挑战。本文提出一种通用图像翻译框架，将最优传输引入条件输入与风格范例间的特征对齐。最优传输的引入显著缓解了多对一特征匹配的约束，同时在条件输入与范例间建立准确的语义对应。我们设计了一种新颖的非平衡最优传输，以解决条件输入与范例间广泛存在的分布偏离特征之间的传输问题。此外，我们设计了语义激活归一化方案，成功将范例的风格特征注入图像翻译过程。在多个图像翻译任务上的大量实验表明，与SOTA方法相比，我们的方法在定性与定量上均实现了更优的图像翻译。
引用
@article{arxiv.2106.10482,
title = {Unbalanced Feature Transport for Exemplar-based Image Translation},
author = {Fangneng Zhan and Yingchen Yu and Kaiwen Cui and Gongjie Zhang and Shijian Lu and Jianxiong Pan and Changgong Zhang and Feiying Ma and Xuansong Xie and Chunyan Miao},
journal= {arXiv preprint arXiv:2106.10482},
year = {2021}
}
备注
Accepted to CVPR 2021