缩小少样本元学习中实践与PAC-Bayes理论之间的差距
机器学习
2021-10-27 v2 机器学习
摘要
尽管近期在理论理解上取得进展，现有关于元学习的PAC-Bayesian理论在解释少样本学习设定下性能提升的能力方面仍存在显著差距，其中目标任务中的训练样本数量极为有限。这一差距源于现有理论中的一个假设，即假定已观测任务中的训练样本数量与目标任务中的训练样本数量服从同一分布，而该假设在实践中很少成立。通过放宽该假设，我们开发了两种面向少样本学习设定的PAC-Bayesian界，并表明两种现有元学习算法（MAML和Reptile）可由我们的界导出，从而缩小了实践与PAC-Bayesian理论之间的差距。此外，我们推导了一种新的计算高效的PACMAML算法，并表明其在多个少样本基准数据集上优于现有元学习算法。
引用
@article{arxiv.2105.14099,
title = {Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot Meta-Learning},
author = {Nan Ding and Xi Chen and Tomer Levinboim and Sebastian Goodman and Radu Soricut},
journal= {arXiv preprint arXiv:2105.14099},
year = {2021}
}
备注
Neural Information Processing Systems 2021