用于可扩展且收敛的镜像下降元学习的可学习损失几何

利用来自相关任务中获得的任务不变知识作为先验信息，元学习提供了一种以有限数据记录学习新任务的原则方法。先验信息的高效适应是元学习面临的主要挑战之一，在这方面它在仅用少量优化步骤训练所需任务特定模型方面发挥着重要作用。过去的工作通过预处理来解决这一挑战，以加速每个任务训练的收敛。虽然有效地表示局部二次损失曲率，但简单的线性预处理在面对复杂损失几何时几乎没有力量。本文贡献通过学习一种灵活的距离生成函数来应对复杂损失度量，该生成函数诱导一个非线性镜像映射，有效地捕获和优化各种损失几何。通过合适的参数化，该生成函数由一个表达式充分的神经网络实现，证明它是一个有效的距离。分析结果表明，不仅本文提出的方法，还所有基于预处理的元学习方法都具有收敛性。为实现梯度范数小于$\epsilon$，本方法的收敛率为$\mathcal{O}(\epsilon^{-2})$，与标准基于梯度的元学习方法持平。数值测试在few-shot学习数据集上表明，新算法在实际性能方面显著优于其他方法，同时实现快速的任务收敛，大幅减少了适应步骤，从而也支持大规模元学习模型。