面向少样本多式分类的注意力元学习器
机器学习
2022-06-28 v2
摘要
多式分类基于成员间既非普遍亦非恒定的共享特征模式，在自然界中十分常见，且在特征集上的数量远多于单式分类。我们证明，如原型网络之类的阈值元学习器，若要模拟这些函数，其嵌入维度需随任务相关特征数量呈指数增长。相反，如匹配网络之类的注意力分类器默认即为多式的，并能以线性嵌入维度解决这些问题。然而，我们发现，在元学习问题固有的任务无关特征存在时，注意力模型易出现误分类。为应对此挑战，我们提出一种自注意力特征选择机制，可自适应地稀释非判别性特征。我们在元学习布尔函数以及合成与真实世界少样本学习任务中证明了方法的有效性。
引用
@article{arxiv.2106.05317,
title = {Attentional Meta-learners for Few-shot Polythetic Classification},
author = {Ben Day and Ramon Viñas and Nikola Simidjievski and Pietro Liò},
journal= {arXiv preprint arXiv:2106.05317},
year = {2022}
}
备注
Accepted at ICML 2022