Teacher-Student 场景下元学习表示的动力学
机器学习
2025-01-09 v2 无序系统与神经网络
摘要
梯度基元学习算法因能在有限数据下训练新任务而备受关注。经验观察表明，这些算法能够在不同任务之间学习共享表示，被视为其成功的关键因素。然而，关于学习动力学和共享表示来源的深入理论理解仍不充分。本文在 Teacher-Student 场景下，研究在流式任务上训练的非线性两层神经网络的元学习动力学。通过统计物理分析视角，刻画了元训练过程的宏观行为、共享表示的形成以及模型在新任务上的泛化能力。分析还指出了 certain hyperparameters 选择的重要性。
引用
@article{arxiv.2408.12545,
title = {Dynamics of Meta-learning Representation in the Teacher-student Scenario},
author = {Hui Wang and Cho Tung Yip and Bo Li},
journal= {arXiv preprint arXiv:2408.12545},
year = {2025}
}