基于先验知识与注意力的少样本学习元学习
计算机视觉与模式识别
2021-09-08 v5 机器学习
摘要
近来，元学习已被证明是解决少样本学习的一种有前景的途径。本文受人类认知过程在学习新知识时同时利用先验知识与视觉注意力的启发，提出了一种新颖的元学习范式，通过三项进展将注意力机制与先验知识引入元学习。在我们的方法中，先验知识负责帮助元学习器将输入数据表达到高层表示空间，而注意力机制使元学习器聚焦于表示空间中数据的关键特征。与现有很少关注先验知识与视觉注意力的元学习方法相比，我们的方法减轻了元学习器的少样本认知负担。此外，我们发现了一个任务过拟合(TOF)问题，即元学习器在不同K-shot学习任务上泛化性差，并提出了跨任务交叉熵(CET)度量来建模与解决TOF问题。大量实验表明，我们在多个少样本学习基准上以最先进性能改进了元学习器，同时TOF问题也得到大幅缓解。
引用
@article{arxiv.1812.04955,
title = {Prior-Knowledge and Attention-based Meta-Learning for Few-Shot Learning},
author = {Yunxiao Qin and Weiguo Zhang and Chenxu Zhao and Zezheng Wang and Xiangyu Zhu and Guojun Qi and Jingping Shi and Zhen Lei},
journal= {arXiv preprint arXiv:1812.04955},
year = {2021}
}
备注
15 pages