一条条路通往罗马？探索生成式图像模型潜空间的表征相似性
机器学习
2024-07-19 v1
摘要
不同的生成式图像模型是否在秘密中学习类似的底层表征？我们通过测量四种不同模型（VAEs、GANs、正规化流（NFs）和扩散模型（DMs））的潜空间相似性来探索这一问题。我们的 метод论涉及训练冻结潜空间之间的线性映射，以“拼接”任意编码器和解码器的配对，并在结果“拼接”模型上测量基于输出的指标和探针式指标。我们的主要发现是，线性映射在不同潜空间之间保留了大多数视觉信息，即使潜空间大小不同；对于CelebA模型，性别是最常被探测到的属性。最后我们展示在一个NF上，潜空间表征在训练早期就会收敛。
引用
@article{arxiv.2407.13449,
title = {All Roads Lead to Rome? Exploring Representational Similarities Between Latent Spaces of Generative Image Models},
author = {Charumathi Badrinath and Usha Bhalla and Alex Oesterling and Suraj Srinivas and Himabindu Lakkaraju},
journal= {arXiv preprint arXiv:2407.13449},
year = {2024}
}