中文

学习以任务为条件的显式超参数预测函数

机器学习 2023-07-04 v3

摘要

元学习近期在机器学习领域备受关注。与旨在学习内在预测规则以对新查询数据预测标签的传统机器学习不同,元学习旨在从观测任务中学习机器学习的学习方法,从而利用元学到的学习方法推广到新查询任务。在本研究中,我们将此种学习方法解释为学习一个由所有训练任务共享的显式超参数预测函数。具体而言,该函数被表示为称为元学习器的参数化函数,从训练/测试任务映射到其合适的超参数设置,提取自称为元学习机的预指定函数集。该设定保证了元学到的学习方法能灵活拟合多样查询任务,而非如许多当前元学习方法仅获得固定超参数而对查询任务变化适应性较差。此种对元学习的理解也使其易于借鉴传统学习理论来分析其在一般损失/任务/模型下的泛化界。该理论自然导出若干可行控制策略以改进所提取元学习器的质量,经验证能在少样本回归、少样本分类与域泛化等典型元学习应用中精细改善其泛化能力。

关键词

引用

@article{arxiv.2107.02378,
  title  = {Learning an Explicit Hyperparameter Prediction Function Conditioned on Tasks},
  author = {Jun Shu and Deyu Meng and Zongben Xu},
  journal= {arXiv preprint arXiv:2107.02378},
  year   = {2023}
}

备注

74 pages