基于潜空间插值的平滑图像到图像翻译
计算机视觉与模式识别
2023-03-15 v3 机器学习
摘要
多域图像到图像（I2I）翻译可根据目标域的风格变换源图像。这些变换的一个重要期望特性是渐变性，即当源图像与目标图像的潜空间表示被线性插值时，两者之间发生平滑变化。然而，最先进的方法在使用域间插值时通常表现不佳，常产生外观的突变或不真实的中间图像。本文中，我们认为该问题背后的主要原因之一是缺乏充分的域间训练数据，并提出了两种不同的正则化方法来缓解此问题：一种新的收缩损失，其压缩潜空间；以及一种 Mixup 数据增强策略，其展平域间的风格表示。我们还提出了一种新度量来定量评估插值平滑度，这是现有 I2I 翻译度量未充分覆盖的一个方面。使用我们提出的度量和标准评估协议，我们表明我们的正则化技术能大幅改进最先进的多域 I2I 翻译。我们的代码将在本文被接受后公开。
引用
@article{arxiv.2210.00841,
title = {Smooth image-to-image translations with latent space interpolations},
author = {Yahui Liu and Enver Sangineto and Yajing Chen and Linchao Bao and Haoxian Zhang and Nicu Sebe and Bruno Lepri and Marco De Nadai},
journal= {arXiv preprint arXiv:2210.00841},
year = {2023}
}