基于非参数核回归的任务相似性感知元学习
机器学习
2020-10-13 v2 机器学习
摘要
本文研究利用非参数核回归获得任务相似性感知的元学习算法。我们的假设是，在可用任务有限且可能包含离群/不相似任务时，利用任务相似性有助于元学习。尽管现有元学习方法隐式假设任务相似，但一般而言如何量化并在学习中利用该任务相似性仍不清楚。因此，大多数流行的元学习方法并未主动利用任务间的相似/不相似性，而是依赖大量任务可用才能工作。我们的贡献是一种新颖的元学习框架，其以核的形式显式利用任务相似性及相应的元学习算法。我们将任务特定参数建模为属于再生核 Hilbert 空间，其中核函数捕捉跨任务的相似性。所提算法迭代学习一个元参数，用于为每个任务分配任务特定描述符。随后任务描述符通过核函数量化任务相似性。我们展示了该方法在概念上如何推广流行的模型无关元学习（MAML）和元随机梯度下降（Meta-SGD）方法。回归任务的数值实验表明，在任务数量有限时，即便存在离群或不相似任务，我们的算法也优于这些方法。这支持了我们的假设：任务相似性有助于在任务有限和不利设定下改善元学习性能。
引用
@article{arxiv.2006.07212,
title = {Task-similarity Aware Meta-learning through Nonparametric Kernel Regression},
author = {Arun Venkitaraman and Anders Hansson and Bo Wahlberg},
journal= {arXiv preprint arXiv:2006.07212},
year = {2020}
}