变分自编码器如何学习？来自表征相似性的见解
机器学习
2022-09-27 v3
摘要
变分自编码器（VAEs）学习解耦表征的能力使其在应用中广受欢迎。然而，它们的行为尚未被完全理解。例如，它们何时能提供解耦表征，或何时遭受后验崩塌，仍然是活跃的研究领域。尽管如此，目前还没有对VAEs学习的表征进行逐层比较，而这将加深我们对这些模型的理解。因此，在本文中，我们使用表征相似性技术来探究VAEs的内部行为。具体来说，使用CKA和Procrustes相似性，我们发现编码器的表征学习远早于解码器，并且这种行为与超参数、学习目标和数据集无关。此外，除了均值和方差层之外，所有编码器的表征在不同超参数和学习目标下都是相似的。
引用
@article{arxiv.2205.08399,
title = {How do Variational Autoencoders Learn? Insights from Representational Similarity},
author = {Lisa Bonheme and Marek Grzes},
journal= {arXiv preprint arXiv:2205.08399},
year = {2022}
}