用在线任务混合协调元学习与持续学习
机器学习
2019-06-20 v3 机器学习
摘要
学会学习或元学习利用数据驱动的归纳偏置来提高在新任务上的学习效率。当迁移不利时，例如任务差异显著或随时间变化时，这种方法会遇到困难。我们利用基于梯度的元学习与层次贝叶斯之间的联系，提出在任意参数模型（如神经网络）参数上的层次贝叶斯模型的 Dirichlet 过程混合。与将归纳偏置合并为单一超参数集不同，我们的任务相关超参数选择方法更好地处理了潜在分布偏移，这在一组演化的、基于图像的少样本学习基准上得到了证明。
引用
@article{arxiv.1812.06080,
title = {Reconciling meta-learning and continual learning with online mixtures of tasks},
author = {Ghassen Jerfel and Erin Grant and Thomas L. Griffiths and Katherine Heller},
journal= {arXiv preprint arXiv:1812.06080},
year = {2019}
}
备注
updated experimental results