基于注意力独立机制的少样本与持续学习
机器学习
2021-07-30 v1 人工智能
计算机视觉与模式识别
摘要
深度神经网络（DNNs）在部署于与训练分布高度相似的测试分布时表现良好已是已知事实。以训练分布中未出现的新数据顺序输入DNNs面临两大挑战——对新任务的快速适应与对旧任务的灾难性遗忘。此类困难催生了少样本学习与持续学习的持续研究。为应对这些问题，我们提出注意力独立机制（AIM）。我们结合了利用快权重与慢权重学习的思想，并解耦DNN的特征提取与高阶概念学习。AIM专为高阶概念学习设计，由专家混合模型建模，各专家竞争学习独立概念以解决新任务。AIM是可插入现有深度学习框架的模块化组件。我们通过将其添加至SIB并在MiniImageNet与CIFAR-FS上训练，展示了其少样本学习能力，取得显著提升。AIM还应用于在Omniglot、CIFAR-100与MiniImageNet上训练的ANML与OML，以展示其持续学习能力。代码已公开于 https://github.com/huang50213/AIM-Fewshot-Continual。
引用
@article{arxiv.2107.14053,
title = {Few-Shot and Continual Learning with Attentive Independent Mechanisms},
author = {Eugene Lee and Cheng-Han Huang and Chen-Yi Lee},
journal= {arXiv preprint arXiv:2107.14053},
year = {2021}
}
备注
20 pages, 44 figures, accepted by International Conference of Computer Vision 2021 (ICCV 2021)