TRIP：基于对抗偏好的图像到图像翻译精炼
机器学习
2021-11-29 v1
摘要
相对属性指在特定属性强度上对两幅图像的偏好，由于其包含丰富的语义信息，能够实现细粒度的图像到图像翻译。然而，基于 RA 的现有工作未能协调细粒度翻译目标与高质量生成目标。我们提出了一种新模型 TRIP，以协调这两个目标从而实现高质量的细粒度翻译。具体而言，我们同时训练两个模块：一个生成器，将输入图像翻译为在感兴趣属性上具有平滑细微变化的期望图像；以及一个排序器，对由输入图像和期望图像组成的对抗偏好进行排序。对抗偏好是指对抗排序过程：（1）排序器认为期望图像与输入图像在期望属性上没有差异；（2）生成器欺骗排序器，使其相信期望图像在期望属性上对输入图像做出了预期的改变。引入真实图像对之间的 RA 以指导排序器仅根据感兴趣属性对图像对进行排序。有了有效的排序器，生成器将通过生成与输入图像相比在属性上呈现出预期改变的高质量图像来“赢得”对抗博弈。在两个面部图像数据集和一个鞋类图像数据集上的实验表明，我们的 TRIP 在生成于感兴趣属性上表现出平滑变化的高保真图像方面取得了 SOTA 结果。
引用
@article{arxiv.2111.13411,
title = {TRIP: Refining Image-to-Image Translation via Rival Preferences},
author = {Yinghua Yao and Yuangang Pan and Ivor W. Tsang and Xin Yao},
journal= {arXiv preprint arXiv:2111.13411},
year = {2021}
}