具有隐式任务特定后验的 PAC-Bayes 元学习
机器学习
2021-11-02 v3 机器学习
摘要
我们引入了一种新的、严格公式化的 PAC-Bayes 元学习算法来解决少样本学习问题。我们提出的方法将 PAC-Bayes 框架从单任务设置扩展到元学习多任务设置，以对任何（甚至未见的）任务和样本上的误差给出上界。我们还提出了一种基于生成式的方法来比通常基于具有对角协方差矩阵的多变量正态分布的假设更具表达力地估计任务特定模型参数的后验。我们表明，用我们提出的元学习算法训练的模型校准良好且准确，在少样本分类（mini-ImageNet 和 tiered-ImageNet）和回归（多模态任务分布回归）基准上取得了最先进的校准与分类结果。
引用
@article{arxiv.2003.02455,
title = {PAC-Bayes meta-learning with implicit task-specific posteriors},
author = {Cuong Nguyen and Thanh-Toan Do and Gustavo Carneiro},
journal= {arXiv preprint arXiv:2003.02455},
year = {2021}
}
备注
Add background and directly specify meta-learning as a bi-level optimisation