基于伴随方法的元学习
机器学习
2023-02-27 v3
摘要
模型无关元学习（MAML）被广泛用于为一系列任务寻找良好的初始化。尽管取得了成功，MAML 中的一个关键挑战是计算针对采样任务的长训练轨迹初始化的梯度，因为计算图会迅速爆炸且计算代价十分昂贵。为解决该问题，我们提出伴随 MAML（A-MAML）。我们将内层优化中的梯度下降视为常微分方程（ODE）的演化。为高效计算验证损失关于初始化的梯度，我们使用伴随方法构造一个伴随的反向 ODE。为获得关于初始化的梯度，我们仅需运行标准 ODE 求解器两次——一次是正向演化采样任务梯度流的长轨迹，另一次是反向求解伴随 ODE。我们无需创建或扩展任何中间计算图，无需采用激进的近似，也无需在训练损失中强加近端正则化。我们的方法廉价、精确，并可适应不同的轨迹长度。我们在合成与真实世界的元学习任务中展示了我们方法的优势。
引用
@article{arxiv.2110.08432,
title = {Meta-Learning with Adjoint Methods},
author = {Shibo Li and Zheng Wang and Akil Narayan and Robert Kirby and Shandian Zhe},
journal= {arXiv preprint arXiv:2110.08432},
year = {2023}
}