用于半监督数据高效回归的慢表征自编码
机器学习
2021-07-06 v2
摘要
慢性原则是受大脑视觉皮层启发的一个概念。它假设快速变化的感觉信号其底层生成因素在较慢的时间尺度上变化。利用丰富的无标签感觉数据对中间表征进行无监督学习，可用于执行数据高效的监督下游回归。在本文中，我们提出了一种用于无监督表征学习的慢性一般表述，在 beta-VAE 的估计下界上添加慢性正则项，以鼓励观测空间和潜空间中的时间相似性。在该框架内，我们比较了现有的慢性正则项，如现有端到端方法中使用的 L1 和 L2 损失、SlowVAE，并提出了一种基于布朗运动的新正则项。我们凭经验评估了这些慢性正则项在下游任务性能和数据效率方面的表现。我们发现，与无慢性正则的表征相比，慢表征在不同实验领域中带来持平或更好的下游任务性能与数据效率。最后，我们讨论了传统上用于确定 GAN 生成能力的 Frechet Inception Distance (FID) 如何能作为衡量预训练自编码器模型在监督下游任务中性能并加速超参数搜索的指标。
引用
@article{arxiv.2012.06279,
title = {Autoencoding Slow Representations for Semi-supervised Data Efficient Regression},
author = {Oliver Struckmeier and Kshitij Tiwari and Ville Kyrki},
journal= {arXiv preprint arXiv:2012.06279},
year = {2021}
}
备注
11 pages, 6 figures