基于渐进能量模型的协同学习用于多域图像到图像翻译
计算机视觉与模式识别
2024-01-17 v3 人工智能
摘要
本文研究一种用于多域图像到图像翻译的新型基于能量的协同学习框架。该框架由四个部分组成：描述符、翻译器、风格编码器与风格生成器。描述符是一个表示多域图像分布的多头基于能量的模型。翻译器、风格编码器和风格生成器构成一个多样化图像生成器。具体而言，给定来自源域的输入图像，翻译器依据风格码将其转化为目标域的风格化输出图像，该风格码可由风格编码器从参考图像推断，或由风格生成器从随机噪声产生。由于风格生成器表示为风格码的特定域分布，翻译器可提供源域与目标域之间的一对多变换（即多样化生成）。为训练我们的框架，我们提出一种基于似然的多域协同学习算法，通过多域 MCMC 教学联合训练多域描述符与多样化图像生成器（包括翻译器、风格编码器和风格生成器模块），其中描述符引导多样化图像生成器将其概率密度移向数据分布，而多样化图像生成器利用其随机翻译的图像来初始化描述符的朗之万动力学过程以实现高效采样。
引用
@article{arxiv.2306.14448,
title = {Progressive Energy-Based Cooperative Learning for Multi-Domain Image-to-Image Translation},
author = {Weinan Song and Yaxuan Zhu and Lei He and Yingnian Wu and Jianwen Xie},
journal= {arXiv preprint arXiv:2306.14448},
year = {2024}
}