大规模非平稳任务分布上更少遗忘的元学习
计算机视觉与模式识别
2022-09-07 v1 机器学习
摘要
机器智能的范式正从纯监督学习转向更实际的场景：存在大量松散相关的无标签数据，而有标签数据稀缺。大多数现有算法假设底层任务分布是平稳的。此处我们考虑一种更真实且具挑战性的设定，即任务分布随时间演化。我们将此问题命名为具有演化任务分布的半监督元学习（Semi-supervised meta-learning with Evolving Task diStributions，简称 SETS）。在这一更真实的设定下出现两个关键挑战：(i) 在存在大量无标签分布外（OOD）数据时如何使用无标签数据；以及 (ii) 如何因任务分布偏移而防止对先前学习任务分布的灾难性遗忘。我们提出一种 OOD 鲁棒且知识保持的半监督元学习方法（OOD Robust and knowleDge presErved semi-supeRvised meta-learning approach，ORDER）来应对这两大挑战。具体而言，我们的 ORDER 引入一种新颖的互信息正则化以利用无标签 OOD 数据增强模型鲁棒性，并采用最优传输正则化以在特征空间中记忆先前学到的知识。此外，我们在一个极具挑战性的数据集上测试了方法：由（至少）72K 个任务组成的大规模非平稳半监督任务分布上的 SETS。通过大量实验，我们证明了所提 ORDER 缓解了演化任务分布上的遗忘，且相比相关强基线对 OOD 数据更鲁棒。
引用
@article{arxiv.2209.01501,
title = {Meta-Learning with Less Forgetting on Large-Scale Non-Stationary Task Distributions},
author = {Zhenyi Wang and Li Shen and Le Fang and Qiuling Suo and Donglin Zhan and Tiehang Duan and Mingchen Gao},
journal= {arXiv preprint arXiv:2209.01501},
year = {2022}
}
备注
ECCV 2022