基于梯度的深度神经网络元学习的全局收敛与泛化界
机器学习
2020-11-17 v2 机器学习
摘要
基于梯度的元学习（GBML）结合深度神经网络（DNNs）已成为少样本学习的一种流行方法。然而，由于 DNN 的非凸性以及 GBML 中的双层优化，带有 DNN 的 GBML 的理论性质在很大程度上仍属未知。在本文中，我们首先旨在回答以下问题：带有 DNN 的 GBML 是否具有全局收敛保证？我们通过证明带有过参数化 DNN 的 GBML 保证以线性速率收敛到全局最优解，对此问题给出了肯定回答。我们旨在解决的第二个问题是：GBML 如何通过对过往任务的先验经验实现对新任务的快速适配？为回答它，我们从理论上表明 GBML 等价于一种显式地将经验从过往任务传播到新任务的函数梯度下降操作，然后我们证明了带有过参数化 DNN 的 GBML 的泛化误差界。
引用
@article{arxiv.2006.14606,
title = {Global Convergence and Generalization Bound of Gradient-Based Meta-Learning with Deep Neural Nets},
author = {Haoxiang Wang and Ruoyu Sun and Bo Li},
journal= {arXiv preprint arXiv:2006.14606},
year = {2020}
}
备注
Under review. Code available at https://github.com/AI-secure/Meta-Neural-Kernel