DAC-MR：基于数据增强一致性的元正则化用于元学习
机器学习
2023-05-16 v1 人工智能
计算机视觉与模式识别
摘要
元学习近年来受到大量研究并推动了当代机器学习的发展。然而，获得性能良好的元学习模型需要大量能代表底层任务泛化目标的高质量元数据的训练任务，这在真实应用中往往难以且昂贵地获取。当前的元数据驱动元学习方法却相当难以用不完美的训练任务训练出满意的元模型。为解决此问题，我们提出一种元知识引导的元学习（MKIML）框架，通过额外将补偿元知识整合进元学习过程来改进元学习。我们初步将元知识通过适当的元正则化（MR）目标整合进元目标，以正则化元模型函数类的容量复杂度，从而促进在未见任务上更好的泛化。作为一种实际实现，我们引入数据增强一致性来将不变性编码为元知识以实例化MR目标，记为DAC-MR。所提出的DAC-MR有望从带有噪声、稀疏或缺失元数据的训练任务中学习出性能良好的元模型。我们从理论上证明DAC-MR可被视为一种代理元目标，用于在无高质量元数据时评估元模型。此外，元数据驱动的元损失目标与DAC-MR结合能够实现更好的元级泛化。10个具有不同网络架构与基准的元学习任务证实了我们的DAC-MR在辅助元模型学习上的能力。DAC-MR在所有设定下均取得良好性能，并与我们的理论见解相吻合。这意味着我们的DAC-MR是与问题无关的，并有望轻易应用于广泛的元学习问题与任务。
引用
@article{arxiv.2305.07892,
title = {DAC-MR: Data Augmentation Consistency Based Meta-Regularization for Meta-Learning},
author = {Jun Shu and Xiang Yuan and Deyu Meng and Zongben Xu},
journal= {arXiv preprint arXiv:2305.07892},
year = {2023}
}
备注
27 pages