基于连续轨迹偏移的大规模元学习
机器学习
2022-02-17 v3
摘要
共享初始化参数的元学习已被证明在解决少样本学习任务方面非常有效。然而，由于在内层梯度步长链上进行元学习的技术困难，将该框架扩展到多样本场景（可能进一步增强其实用性）相对被忽视。在本文中，我们首先表明，允许元学习者采取更大数量的内层梯度步长能更好地捕捉异构且大规模任务分布的结构，从而获得更好的初始化点。此外，为了即使在过长内层优化轨迹下也能提高元更新的频率，我们提出估计任务特定参数相对于初始化参数变化所需的偏移量。通过这样做，我们可以任意提高元更新频率，从而极大改善元层面的收敛性以及所学初始化的质量。我们在一组异构的大规模任务上验证了我们的方法，并表明该算法在泛化性能和收敛性以及多任务学习和微调基线方面大幅优于以往的一阶元学习方法。
引用
@article{arxiv.2102.07215,
title = {Large-Scale Meta-Learning with Continual Trajectory Shifting},
author = {Jaewoong Shin and Hae Beom Lee and Boqing Gong and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2102.07215},
year = {2022}
}