面向真实场景持续学习的基于元示例的泛化方法
机器学习
2022-05-04 v2 计算机视觉与模式识别
摘要
未来的深度学习系统需要能够应对时间数据的演化特性以及新问题时标注稀缺的技术。作为实现该目标的一步，我们提出 FUSION（Few-shot UnSupervIsed cONtinual learning，少样本无监督持续学习），一种使神经网络能够在无标注数据流和不平衡任务上快速且持续学习的学习策略。其目标是最大化从无标注数据流中提取的知识（无监督），促进先前所学任务和特征的前向迁移（持续），并在可用时尽可能利用有监督信息（少样本）。FUSION 的核心是 MEML——元示例元学习（Meta-Example Meta-Learning）——它通过在元优化阶段的单次内循环中利用自注意力机制来巩固元表示。为了进一步增强 MEML 从少量数据泛化的能力，我们通过创建多种增广代理任务并在最困难的任务上优化来扩展它。在公开计算机视觉基准上的大量实验评估表明，FUSION 在少样本和持续学习实验设置下均优于现有的最先进解决方案。
引用
@article{arxiv.2101.12081,
title = {Generalising via Meta-Examples for Continual Learning in the Wild},
author = {Alessia Bertugli and Stefano Vincenzi and Simone Calderara and Andrea Passerini},
journal= {arXiv preprint arXiv:2101.12081},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2009.08107