MCMI:带互信息约束的多循环图像翻译
计算机视觉与模式识别
2020-07-07 v1
摘要
我们提出一种基于互信息的无监督图像到图像翻译框架。我们的 MCMI 方法将单循环图像翻译模型视为可在多循环翻译设置中递归使用的模块,其中翻译过程受输入与输出图像间互信息约束的限制。所提出的互信息约束可通过优化掉在图像翻译过程中不满足马尔可夫性质的翻译函数,来改善跨域映射。我们表明,与最先进的图像翻译方法相比,用 MCMI 训练的模型生成更高质量的图像,并学到更具语义相关性的映射。MCMI 框架可应用于现有的非配对图像到图像翻译模型,且只需极少修改。定性实验和感知研究利用多种骨干模型与各类图像数据集证明了我们方法在图像质量上的提升与通用性。
引用
@article{arxiv.2007.02919,
title = {MCMI: Multi-Cycle Image Translation with Mutual Information Constraints},
author = {Xiang Xu and Megha Nawhal and Greg Mori and Manolis Savva},
journal= {arXiv preprint arXiv:2007.02919},
year = {2020}
}