Chameleon：跨不同模式任务的模型初始化学习
机器学习
2020-06-12 v4 人工智能
机器学习
摘要
参数化模型，尤其是神经网络，需要权重初始化作为基于梯度的优化的起点。近期工作表明，可以从一组监督学习任务中学习得到特定的初始参数集。使用该初始参数集，即使只有少量样本可用，也能对未见过的类别实现快速收敛（模型无关元学习）。目前，学习模型初始化的方法局限于共享相同模式（即预测变量与目标变量在数量、顺序、类型和语义上均相同）的任务群体。本文中，我们解决跨不同模式任务元学习参数初始化的问题，即预测变量数量在任务间变化，但仍共享部分变量。我们提出 Chameleon，一种学习将不同预测变量模式对齐到公共表示的模型。在 OpenML-CC18 基准的 23 个数据集上的实验中，我们表明 Chameleon 能成功跨不同模式任务学习参数初始化，据我们所知，这是首个面向非结构化数据的跨数据集少样本分类方法。
引用
@article{arxiv.1909.13576,
title = {Chameleon: Learning Model Initializations Across Tasks With Different Schemas},
author = {Lukas Brinkmeyer and Rafael Rego Drumond and Randolf Scholz and Josif Grabocka and Lars Schmidt-Thieme},
journal= {arXiv preprint arXiv:1909.13576},
year = {2020}
}
备注
18 pages, 7 figures