元票：在随机初始化神经网络中寻找用于少样本学习的最优子网络
机器学习
2023-02-10 v2 人工智能
神经与进化计算
机器学习
摘要
神经网络的少样本学习（few-shot learning）是一个重要问题，旨在用少量数据训练神经网络。主要挑战是如何避免过拟合，因为过参数化的神经网络很容易对如此小的数据集过拟合。先前的工作（例如 Finn 等人 2017 年的 MAML）通过元学习（meta-learning）应对这一挑战，即利用多种任务来学习如何从少量数据中学习。另一方面，避免过拟合的一种传统方法是通过赋予稀疏神经网络结构（如计算机视觉中的卷积层）来限制假设空间。然而，尽管这种人工设计的稀疏结构对于足够大的数据集具有样本效率，它们对于少样本学习仍然不足。由此自然产生以下问题：（1）我们能否通过元学习找到对少样本学习有效的稀疏结构？（2）这在元泛化（meta-generalization）方面会带来什么好处？在这项工作中，我们提出一种新颖的元学习方法，称为 Meta-ticket，用于在随机初始化的神经网络中寻找用于少样本学习的最优稀疏子网络。我们通过实验验证 Meta-ticket 成功发现了能够为每个给定任务学习专用特征的稀疏子网络。由于这种任务级适应能力，Meta-ticket 相比基于 MAML 的方法实现了更优的元泛化，尤其是在大型神经网络上。代码见：https://github.com/dchiji-ntt/meta-ticket
引用
@article{arxiv.2205.15619,
title = {Meta-ticket: Finding optimal subnetworks for few-shot learning within randomly initialized neural networks},
author = {Daiki Chijiwa and Shin'ya Yamaguchi and Atsutoshi Kumagai and Yasutoshi Ida},
journal= {arXiv preprint arXiv:2205.15619},
year = {2023}
}
备注
36th Conference on Neural Information Processing Systems (NeurIPS 2022)