借鉴过往：基于贝叶斯图建模的持续元学习
机器学习
2019-11-13 v1 机器学习
摘要
用于少样本学习的元学习可使机器利用先前获取的知识作为先验，从而仅用少量数据即在新任务上提升性能。然而，大多数主流模型存在灾难性遗忘与鲁棒性不足的问题，因而无法充分保留或利用长期知识，且易引发严重的误差累积。本文提出一种新颖的基于贝叶斯图神经网络的持续元学习方法(CML-BGNN)，将元学习数学地表述为一系列任务的持续学习。每个任务构成一个图，任务内与任务间的关联可通过消息传递与历史转移得以良好保持。为弥补图初始化带来的拓扑不确定性，我们采用Bayes by Backprop策略，利用摊销推断网络逼近任务特定参数的后验分布，并将其无缝集成到端到端边学习之中。在miniImageNet与tieredImageNet数据集上开展的广泛实验证明了所提方法的有效性与高效性，在miniImageNet 5-way 1-shot分类任务上相较最先进方法性能提升42.8%。
引用
@article{arxiv.1911.04695,
title = {Learning from the Past: Continual Meta-Learning via Bayesian Graph Modeling},
author = {Yadan Luo and Zi Huang and Zheng Zhang and Ziwei Wang and Mahsa Baktashmotlagh and Yang Yang},
journal= {arXiv preprint arXiv:1911.04695},
year = {2019}
}