通过对比潜在变量引导基于能量的模型
机器学习
2023-03-07 v1 计算机视觉与模式识别
摘要
基于能量的模型（EBM）是一种流行的生成框架，兼具显式密度与架构灵活性，但训练困难，因其常不稳定且耗时。近年来已发展出多种训练技术，例如更好的散度度量或 MCMC 采样中的稳定化，但 EBM 与其他生成框架（如 GAN）在生成质量上往往存在较大差距。本文中，我们提出一种新颖且有效的框架，通过对比表示学习（CRL）来改进 EBM。具体而言，我们将对比方法学到的表示视为真实的潜在变量。该对比潜在变量可引导 EBM 更好地理解数据结构，从而显著改进并加速 EBM 训练。为实现 EBM 与 CRL 的联合训练，我们还设计了一类新的潜在变量 EBM，用于学习数据与对比潜在变量的联合密度。实验结果表明，与已有最优 EBM 方法（例如额外使用变分自编码器或扩散技术）相比，我们的方案取得了更低的 FID 分数，且训练显著更快、更省内存。我们还展示了潜在变量 EBM 的条件生成与组合生成能力作为其额外优势，即便未经显式条件训练。代码见 https://github.com/hankook/CLEL。
引用
@article{arxiv.2303.03023,
title = {Guiding Energy-based Models via Contrastive Latent Variables},
author = {Hankook Lee and Jongheon Jeong and Sejun Park and Jinwoo Shin},
journal= {arXiv preprint arXiv:2303.03023},
year = {2023}
}
备注
Accepted to ICLR 2023 (Spotlight). The code is available at https://github.com/hankook/CLEL