基于超网络的贝叶斯 MAML 方法
机器学习
2023-09-01 v2 人工智能
摘要
少样本学习算法的主要目标是从少量数据中学习。最流行且优雅的少样本学习方法之一是模型无关元学习（Model-Agnostic Meta-Learning, MAML）。该方法背后的核心思想是学习元模型的共享通用权重，然后针对特定任务进行适配。然而，由于数据量有限，该方法存在过拟合问题且对不确定性的量化能力较差。原则上，贝叶斯方法可以通过学习权重分布来替代点状权重，从而缓解这些缺陷。遗憾的是，以往对 MAML 的改进受限于高斯后验的简洁性、类 MAML 的基于梯度的权重更新，或通用权重与适配权重强制采用相同结构。本文提出一种名为 BayesianHMAML 的新型贝叶斯 MAML 框架，其利用超网络（Hypernetworks）进行权重更新。该框架以点状方式学习通用权重，但在针对特定任务适配时引入概率结构。在此框架下，我们可以使用简单的高斯分布，或由连续归一化流（Continuous Normalizing Flows）诱导的更复杂后验。
引用
@article{arxiv.2210.02796,
title = {Hypernetwork approach to Bayesian MAML},
author = {Piotr Borycki and Piotr Kubacki and Marcin Przewięźlikowski and Tomasz Kuśmierczyk and Jacek Tabor and Przemysław Spurek},
journal= {arXiv preprint arXiv:2210.02796},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2205.15745