基于上下文增强自编码器的类别学习

为真实世界数据寻找可解释且无冗余的表示是机器学习中的关键问题之一。已知生物神经网络能以无监督方式较好地解决该问题，而无监督人工神经网络要么难以做到，要么需针对每个任务单独精细调参。我们将此归因于生物大脑在观测间关系背景下学习，而人工网络则不然。我们还注意到，尽管朴素数据增强技术对监督学习问题非常有用，自编码器通常无法从数据增强中泛化变换。因此，我们认为提供关于数据样本间关系的额外知识将提升模型发现有用内部数据表示的能力。更形式化地，我们将数据集不视为流形，而视为一个类别，其中样本为对象。若两个对象实际代表同一实体的不同变换，则以态射连接。遵循此形式体系，我们提出一种在训练自编码器时使用数据增强的新方法。我们以如下方式训练变分自编码器（Variational Autoencoder）：使其变换结果可由辅助网络基于隐表示预测。我们认为线性分类器在所学表示上的分类准确率可作为衡量其可解释性的良好指标。在我们的实验中，本方法优于 $\beta$-VAE，并与高斯混合 VAE 相当。