基于 PAC 最优超后验的可扩展 PAC-Bayesian 元学习：从理论到实践
机器学习
2023-12-27 v3 机器学习
摘要
元学习旨在从相关学习任务的数据集中获取有用的归纳偏置，从而加速在新任务上的学习过程。虽然在实践中可用的相关任务数量通常很少，但现有大多数方法都假设任务 abundance；这使得它们不切实际且容易过拟合。元学习文献中的一个核心问题是如何进行正则化以确保对未见任务的泛化。在这项工作中，我们使用 PAC-Bayesian 理论提供理论分析，并给出由 Rothfuss 等人 (2021a) 首次推导的元学习泛化界。关键的是，该界使我们能够推导出最优超后验的闭式解，称为 PACOH，它带来最佳性能保证。我们提供理论分析和实证案例研究，考察在何种条件及何种程度上这些元学习保证优于 PAC-Bayesian 单任务学习界。闭式 PACOH 启发了一种实用的元学习方法，避免了对比双层优化的依赖，产生一个适于标准变分方法且可良好扩展的随机优化问题。我们的实验表明，当使用高斯过程和贝叶斯神经网络模型实例化 PACOH 时，所得方法更具可扩展性，并在预测准确性和不确定性估计质量方面均取得最先进的性能。
引用
@article{arxiv.2211.07206,
title = {Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice},
author = {Jonas Rothfuss and Martin Josifoski and Vincent Fortuin and Andreas Krause},
journal= {arXiv preprint arXiv:2211.07206},
year = {2023}
}
备注
JMLR, 62 pages, text overlap with arXiv:2002.05551