MAC：一种用于特征学习与重组的元学习方法
机器学习
2024-05-28 v2
摘要
基于优化的元学习旨在学习一个初始化，使新未见任务能在少量梯度更新内学会。模型无关元学习（MAML）是一个包含双优化循环的基准算法。内循环致力于学习新任务，外循环导出元初始化。然而，ANIL（几乎无内循环）算法表明特征复用是 MAML 中快速学习的替代方案。因此，元初始化阶段使 MAML 准备好进行特征复用，并免除了快速学习的需要。与 ANIL 相反，我们假设在元测试期间可能存在学习新特征的需求。来自非相似分布的新的未见任务将需要快速学习，此外还需复用和重组现有特征。本文中，我们援引神经网络的宽度-深度对偶性，通过添加额外计算单元（ACU）来增加网络宽度。ACU 使得在元测试任务中学习新原子特征成为可能，且相关的宽度增加促进了前向传播中的信息流动。新学特征在最后一层与现有特征结合用于元学习。实验结果表明，我们提出的 MAC 方法在非相似任务分布上以约 13%（5-shot 任务设置）优于现有 ANIL 算法。
引用
@article{arxiv.2209.09613,
title = {MAC: A Meta-Learning Approach for Feature Learning and Recombination},
author = {S. Tiwari and M. Gogoi and S. Verma and K. P. Singh},
journal= {arXiv preprint arXiv:2209.09613},
year = {2024}
}
备注
20 pages, 3 figures, 2 graphs