EMO：面向少样本元学习的情景记忆优化
机器学习
2023-06-28 v3
摘要
由于每个任务的训练样本数量有限，少样本元学习对梯度下降优化提出了挑战。为解决此问题，我们提出一种受人类通过大脑记忆回忆过往学习经验能力启发的元学习情景记忆优化方法，称为 EMO。EMO 将过往经历任务的梯度历史保留在外部记忆中，以记忆增强的方式实现少样本学习。通过学习保留并回忆过往训练任务的学习过程，即便有限样本所提供的梯度无信息量，EMO 也能将参数更新推向正确方向。我们从理论上证明，我们的算法对于光滑强凸目标函数收敛。EMO 具有通用、灵活且与模型无关的特性，使其成为可无缝嵌入现有基于优化的少样本元学习方法的简单即插即用优化器。实证结果表明，EMO 在多数少样本分类基准上表现良好，并提升了基于优化的元学习方法的性能，从而实现加速收敛。
引用
@article{arxiv.2306.05189,
title = {EMO: Episodic Memory Optimization for Few-Shot Meta-Learning},
author = {Yingjun Du and Jiayi Shen and Xiantong Zhen and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:2306.05189},
year = {2023}
}
备注
Accepted by CoLLAs 2023