一种用于深度少样本元学习的层次贝叶斯模型

我们提出了一种新颖的层次贝叶斯模型，用于学习大量（可能无限）任务/情景，这非常契合少样本元学习问题。我们考虑情景级随机变量来建模情景特定的目标生成过程，其中这些局部随机变量由一个更高层次的全局随机变量所支配。该全局变量有助于记忆历史情景中的重要信息，同时以原理性的贝叶斯方式控制模型需要适应新情景的程度。在我们的模型框架内，对新情景/任务的预测可视为一个贝叶斯推断问题。然而，在以在线方式学习大量/无限局部随机变量时的一个主要障碍是：不允许存储当前局部随机变量的后验分布以供将来频繁更新，而这在传统变分推断中是典型的。我们需要能够将每个局部变量视为优化中的一次性迭代。我们提出了一种正态-逆威沙特（Normal-Inverse-Wishart）模型，并证明由于局部后验分布的近似闭式解，这种一次性迭代优化变得可行。所得算法比MAML更具吸引力，因为它不需要为每个情景的整个梯度优化步骤维护计算图。我们的方法也不同于现有的贝叶斯元学习方法，因为与处理整个情景的单一随机变量不同，我们的方法具有允许一次性情景优化的层次结构，这对于具有许多/无限任务的原理性贝叶斯学习是理想的。代码可在 \url{https://github.com/minyoungkim21/niwmeta} 获取。