Hierarchy Flow：面向高保真图像到图像翻译
计算机视觉与模式识别
2023-08-15 v1 人工智能
摘要
图像到图像（I2I）翻译涵盖广泛任务。此处我们将该问题划分为三个层级：强保真翻译、常规保真翻译与弱保真翻译，以表明原图像内容被保留的程度。尽管现有方法在弱保真翻译中表现良好，却未能在强保真与常规保真任务（如仿真到真实、风格迁移与底层视觉）中充分保留内容。本工作中，我们提出Hierarchy Flow，一种基于流的新型模型，以在翻译中达成更佳内容保留。具体而言：1）我们首先揭示标准流模型用于I2I翻译时的缺陷；2）接着，我们提出一种新设计，即可逆特征变换与多尺度建模的层级耦合，以构成Hierarchy Flow；3）最后，我们给出专用对齐风格损失，以在翻译中更好地权衡内容保留与风格化。在广泛I2I翻译基准上的大量实验表明，我们的方法取得最先进性能，在强保真与常规保真任务中均具令人信服的优势。代码与模型将发布于https://github.com/WeichenFan/HierarchyFlow。
引用
@article{arxiv.2308.06909,
title = {Hierarchy Flow For High-Fidelity Image-to-Image Translation},
author = {Weichen Fan and Jinghuan Chen and Ziwei Liu},
journal= {arXiv preprint arXiv:2308.06909},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2207.01909