用于无监督表示学习的元学习更新规则
机器学习
2019-02-27 v3 神经与进化计算
机器学习
摘要
无监督学习的一个主要目标是在训练期间无需访问监督标签的情况下，发现对后续任务有用的数据表示。典型做法是最小化一个代理目标，例如生成模型的负对数似然，期望对后续任务有用的表示会作为副作用而出现。在本工作中，我们转而通过元学习一个无监督学习规则来直接针对后续的期望任务，该规则能产生对这些任务有用的表示。具体而言，我们以半监督分类性能为目标，并元学习一种算法——一种无监督权重更新规则——以产生对此任务有用的表示。此外，我们将无监督更新规则约束为一个受生物学启发的、神经元局部的函数，这使其能泛化到不同的神经网络架构、数据集和数据模态。我们表明该元学习的更新规则能产生有用的特征，且有时优于现有的无监督学习技术。我们进一步表明该元学习的无监督更新规则可泛化到训练具有不同宽度、深度和非线性的网络。它还能泛化到以随机置换输入维度的方式训练数据，甚至能从图像数据集泛化到一项文本任务。
引用
@article{arxiv.1804.00222,
title = {Meta-Learning Update Rules for Unsupervised Representation Learning},
author = {Luke Metz and Niru Maheswaranathan and Brian Cheung and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:1804.00222},
year = {2019}
}