基于树的 MAML 元学习
机器学习
2021-03-09 v1
摘要
在元学习中，从先前任务中学到的知识被迁移到新任务，但这种迁移仅在任务相关时有效。在不相关任务间共享信息可能损害性能，且如何跨具有层次结构的任务迁移知识尚不清楚。我们的研究通过利用层次化任务关系扩展了模型无关元学习模型 MAML。我们的算法 TreeMAML 以少量梯度步将模型适配到每个任务，但适配遵循层次树结构：在每一步中，梯度跨任务簇汇聚，后续步骤沿树向下进行。我们还实现了一种聚类算法，可在无任务结构先验知识的情况下生成任务树，从而利用任务间的隐式关系。我们表明，这一称为 TreeMAML 的新算法在合成实验中当任务结构为层次化时优于 MAML。为研究该方法在真实数据上的表现，我们将其应用于自然语言理解，利用语言系统发育树借助我们的算法微调语言模型。我们展示了 TreeMAML 在跨语言自然语言推理上改进了当前最优（SOTA）结果。该结果很有用，因为世界上大多数语言资源不足，而跨语言迁移的改进有助于 NLP 模型的国际化。这一结果为在其他真实世界层次数据集上使用该算法打开了窗口。
引用
@article{arxiv.2103.04691,
title = {Meta-Learning with MAML on Trees},
author = {Jezabel R. Garcia and Federica Freddi and Feng-Ting Liao and Jamie McGowan and Tim Nieradzik and Da-shan Shiu and Ye Tian and Alberto Bernacchia},
journal= {arXiv preprint arXiv:2103.04691},
year = {2021}
}
备注
Updated version of paper in EACL workshop: Adapt-NLP 2021