B-SMALL：一种基于贝叶斯神经网络的稀疏模型无关元学习算法
机器学习
2024-03-13 v1 人工智能
计算机视觉与模式识别
摘要
学习如何学习（即元学习）范式日益受到关注，其中模型利用少量训练样本对新任务进行推断。近来，基于元学习的方法已广泛用于少样本分类、回归、强化学习与域适应。模型无关元学习（MAML）算法是一种知名算法，在元训练阶段获得模型参数初始化。在元测试阶段，该初始化通过使用梯度下降快速适应新任务。然而，由于训练任务不足，元学习模型易过拟合，导致模型过参数化且对未见任务的泛化性能较差。本文提出一种基于贝叶斯神经网络的MAML算法，称之为B-SMALL算法。所提框架在MAML损失函数之外引入稀疏变分损失项，其使用稀疏化近似KL散度作为正则化器。我们在分类与回归任务上展示了B-MAML的性能，并强调使用MAML训练稀疏化贝叶斯神经网络确实在保持与MAML相当甚至更优性能的同时改善了模型的参数占用。我们还说明了本方法在分布式传感器网络中的适用性，其中稀疏性与元学习均具益处。
引用
@article{arxiv.2101.00203,
title = {B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning},
author = {Anish Madan and Ranjitha Prasad},
journal= {arXiv preprint arXiv:2101.00203},
year = {2024}
}