利用预训练生成模型学习解耦表示：一种对比学习视角
计算机视觉与模式识别
2022-02-15 v2 人工智能
机器学习
摘要
从解耦的直观概念出发，对应于不同因素的图像变化应彼此区分，且解耦表示应以独立维度反映这些变化。为发现这些因素并学习解耦表示，以往方法通常在对逼真图像生成的学习中引入额外的正则项。然而，该正则项通常导致解耦与生成质量之间的权衡。对于未经任何解耦项预训练的生成模型，在潜空间中沿不同方向遍历时会展现出具有语义意义的变化。基于该观察，我们认为可通过 (i) 利用具有高生成质量的预训练生成模型，(ii) 聚焦于发现遍历方向作为解耦表示学习的因素，来缓解这一权衡。为此，我们提出通过对比实现解耦（DisCo）作为一种框架，基于目标解耦表示对变化建模，并对比这些变化以联合发现解耦方向与学习解耦表示。在包括 GAN、VAE 和 Flow 在内的预训练非解耦生成模型下，DisCo 实现了最先进的解耦表示学习与清晰方向发现。源代码见 https://github.com/xrenaa/DisCo。
引用
@article{arxiv.2102.10543,
title = {Learning Disentangled Representation by Exploiting Pretrained Generative Models: A Contrastive Learning View},
author = {Xuanchi Ren and Tao Yang and Yuwang Wang and Wenjun Zeng},
journal= {arXiv preprint arXiv:2102.10543},
year = {2022}
}
备注
Accepted to ICLR 2022. Source code: https://github.com/xrenaa/DisCo