元循环退火调度：一种避免元摊销误差的简单方法

以少量数据学习新概念是智能的关键方面，对深度学习方法而言颇具挑战。用于少样本学习的元学习为此问题提供了潜在解决方案：通过跨许多先前任务的数据学习如何学习，少样本学习算法能够发现任务间的结构，从而实现新任务的快速学习。然而，少样本学习中的一个关键挑战是任务模糊性：即便可从大量先前任务中元学习到强大的先验，新任务的少量数据集也可能过于模糊，难以为该任务获取单一模型。贝叶斯元学习模型可通过设置复杂先验分布并借助贝叶斯决策理论使后验得到良好正则化，自然解决此问题。然而，当前已知的贝叶斯元学习过程（如 VERSA）饱受所谓的信息偏好问题之苦，即后验分布退化为一点且远离精确后验。为应对此挑战，我们设计了一种使用循环退火调度和最大均值差异（MMD）准则的新型元正则化目标。循环退火调度在避免此类退化解方面相当有效。该过程包含困难的 KL 散度估计，但我们通过采用 MMD 替代 KL 散度解决了该问题。实验结果表明，我们的方法大幅优于标准元学习算法。