HIDRA：面向动态目标的鲁棒架构头部初始化
机器学习
2020-01-23 v2 机器学习
摘要
基于梯度的优化策略的性能在很大程度上取决于参数模型的初始权重。最近的研究表明，存在某些权重初始化，使得优化过程能比均匀随机初始化更快地找到特定任务的参数，并且这种权重初始化可以通过 MAML（Model-Agnostic Meta-Learning，与模型无关的元学习）在相似任务上优化特定模型架构来学习。由于元学习过程中使用的静态模型架构，当前方法仅限于具有相同类别数量的分类任务群体。在本文中，我们提出了 HIDRA，这是一种元学习方法，能够在具有任意数量目标变量的任务上进行训练和评估。我们表明，Model-Agnostic Meta-Learning 为输出层中的所有神经元训练一个分布，并为隐藏层中的神经元训练特定的权重初始化。HIDRA 通过学习一个主神经元来探索这一点，该主神经元用于初始化新任务的任意数量输出神经元。在 Miniimagenet 和 Omniglot 数据集上的大量实验表明，HIDRA 优于标准方法，同时能泛化到具有任意数量目标变量的任务。此外，我们的方法被证明能增强低容量模型在学习具有大量类别的复杂任务时的鲁棒性，而对于这些任务，常规 MAML 无法学习任何可行的初始化。
引用
@article{arxiv.1910.12749,
title = {HIDRA: Head Initialization across Dynamic targets for Robust Architectures},
author = {Rafael Rego Drumond and Lukas Brinkmeyer and Josif Grabocka and Lars Schmidt-Thieme},
journal= {arXiv preprint arXiv:1910.12749},
year = {2020}
}