基于自改进动量目标的元学习
机器学习
2022-10-12 v1
摘要
使用单独训练的目标模型（或教师模型）来提升学生模型性能的想法在各个机器学习领域日益流行，元学习也不例外；最近的发现表明，利用特定任务的目标模型可以显著提升泛化性能。然而，为每个任务获取一个目标模型可能代价高昂，尤其是当元学习的任务数量很大时。为了解决这个问题，我们提出了一种简单而有效的方法，命名为自改进动量目标（SiMT）。SiMT 通过对元学习器的时间集成（即动量网络）进行适应来生成目标模型。该动量网络及其特定任务的适应享有良好的泛化性能，从而能够通过知识蒸馏实现元学习器的自我改进。此外，我们发现扰动元学习器的参数（例如 dropout）可以通过防止元训练期间蒸馏损失的快速收敛来进一步稳定这一自改进过程。我们的实验结果表明，SiMT 与多种元学习方法结合时，在包括少样本回归、少样本分类和元强化学习在内的各种应用中均带来了显著的性能提升。代码可在 https://github.com/jihoontack/SiMT 获取。
引用
@article{arxiv.2210.05185,
title = {Meta-Learning with Self-Improving Momentum Target},
author = {Jihoon Tack and Jongjin Park and Hankook Lee and Jaeho Lee and Jinwoo Shin},
journal= {arXiv preprint arXiv:2210.05185},
year = {2022}
}
备注
Published as a conference proceeding for NeurIPS 2022