基于合成梯度的经验贝叶斯转导元学习
机器学习
2020-04-28 v1 机器学习
摘要
我们提出一种元学习方法，在转导设定下从多任务中学习，通过利用无标签查询集以及支持集为每个任务生成更强大的模型。为构建我们的框架，我们重访了多任务学习的经验贝叶斯公式。经验贝叶斯的边际对数似然的证据下界分解为各任务查询集上变分后验与真实后验之间局部 KL 散度之和。我们推导了一种新的 amortized 变分推断，通过由合成梯度网络与初始化网络组成的元模型耦合所有变分后验。每个变分后验由合成梯度下降导出以近似查询集上的真实后验，尽管我们并无真实梯度可用。我们在 Mini-ImageNet 和 CIFAR-FS 少样本分类基准上的结果优于先前最先进方法。此外，我们进行了两个零样本学习实验以进一步探索合成梯度的潜力。
引用
@article{arxiv.2004.12696,
title = {Empirical Bayes Transductive Meta-Learning with Synthetic Gradients},
author = {Shell Xu Hu and Pablo G. Moreno and Yang Xiao and Xi Shen and Guillaume Obozinski and Neil D. Lawrence and Andreas Damianou},
journal= {arXiv preprint arXiv:2004.12696},
year = {2020}
}
备注
ICLR 2020