变分自编码器在迁移学习上的表现如何？
机器学习
2023-04-24 v1
摘要
变分自编码器（VAEs）被用于跨多个研究领域的迁移学习，如音乐生成或医学图像分析。然而，在迁移之前并没有原则性的方法来评估应重新训练哪些组件，或迁移学习是否可能在目标任务上有所帮助。我们提议通过表示相似性的视角来探究这一问题。具体而言，使用中心核对齐（CKA）来评估在不同数据集上训练的VAE的相似性，我们表明编码器的表示是通用的而解码器的是特定的。基于这些见解，我们讨论了关于选择VAE哪些组件进行重训练的含义，并提出了一种可视化评估迁移学习是否可能在分类任务上有所帮助的方法。
引用
@article{arxiv.2304.10767,
title = {How good are variational autoencoders at transfer learning?},
author = {Lisa Bonheme and Marek Grzes},
journal= {arXiv preprint arXiv:2304.10767},
year = {2023}
}
备注
Extended version of arXiv:2205.08399 with further experiments on transfer learning