通过任务增强提升元学习的泛化能力
机器学习
2021-06-11 v3 机器学习
摘要
元学习已被证明是一种将先前任务的知识迁移以促进新任务学习的强大范式。当前主导性算法训练一个良好泛化的模型初始化，并通过支持集将其适配到每个任务。关键在于优化初始化的泛化能力，该能力由适配模型在每个任务的查询集上的表现来衡量。不幸的是，这一泛化度量（经验结果已证实）推动初始化过拟合元训练任务，显著损害了向新任务的泛化与适配。为解决此问题，我们在评估泛化时主动以“更多数据”增强元训练任务。具体而言，我们提出两种任务增强方法，包括 MetaMix 和 Channel Shuffle。MetaMix 线性组合来自支持集与查询集样本的特征与标签。对于每个类别的样本，Channel Shuffle 随机将其一部分通道替换为来自不同类别的对应通道。理论研究表明任务增强如何提升元学习的泛化。此外，MetaMix 与 Channel Shuffle 在许多数据集上均以大幅优势超越最先进结果，并且与现有元学习算法兼容。
引用
@article{arxiv.2007.13040,
title = {Improving Generalization in Meta-learning via Task Augmentation},
author = {Huaxiu Yao and Longkai Huang and Linjun Zhang and Ying Wei and Li Tian and James Zou and Junzhou Huang and Zhenhui Li},
journal= {arXiv preprint arXiv:2007.13040},
year = {2021}
}
备注
Accepted by ICML 2021