负内循环学习率学习通用特征
机器学习
2022-03-22 v1
摘要
模型无关元学习（MAML）包含两个优化循环：外循环学习一个跨任务共享的模型参数元初始化，内循环进行任务特定的自适应步骤。MAML的一个变体Meta-SGD使用相同的双循环结构，但也为自适应步骤学习学习率。关于Meta-SGD所学学习率如何影响特征重用，目前关注甚少。本文研究了Meta-SGD中学习到的学习率对每任务特征表示的影响。Meta-SGD学习到的学习率通常包含负值。在自适应阶段，这些负学习率将特征推离任务特定特征，推向任务无关特征。我们在Mini-Imagenet数据集上进行了多项实验。训练了两个神经网络，一个使用MAML，另一个使用Meta-SGD。两个模型的特征质量测试如下：剥离线性分类层，将有标签和无标签样本通过此编码器，根据最近邻对无标签样本进行分类。此过程在以下三种情况下进行：1）训练后并使用元初始化参数；2）自适应后，并在该任务上验证；3）自适应后，并在不同任务上验证。MAML训练的模型在其自适应的任务上有所改进，但在其他任务上表现更差。Meta-SGD训练的模型则相反；它在自适应的任务上表现更差，但在其他任务上有所改进。这证实了Meta-SGD的负学习率导致模型学习任务无关特征，而非简单地适应任务特定特征的假设。
引用
@article{arxiv.2203.10185,
title = {Negative Inner-Loop Learning Rates Learn Universal Features},
author = {Tom Starshak},
journal= {arXiv preprint arXiv:2203.10185},
year = {2022}
}