全连接网络中比例极限下的迁移学习统计力学
无序系统与神经网络
2024-07-11 v1 统计力学
摘要
迁移学习(TL)是一种已获知的机器学习技术，通过利用从相关(源)任务中获得的信息来提升在特定(目标)任务上的泛化性能，其关键取决于网络学习有用特征的能力。依托近期在深度学习理论中比例制(即训练集大小P和隐藏层大小N同时取无限，同时保持其比率α=P/N有限)的分析进展，本文发展出一种新的单实例Franz-Parisi形式化，为全连接神经网络中的TL构建有效理论。不同于(懒惰训练)的无限宽度极限，其中TL无效，我们展示在比例极限下TL是由于一个再标定的源-目标核引起的，该核量化了它们的相关性，并决定了TL对泛化是否有益。
关键词
引用
@article{arxiv.2407.07168,
title = {Statistical mechanics of transfer learning in fully-connected networks in the proportional limit},
author = {Alessandro Ingrosso and Rosalba Pacelli and Pietro Rotondo and Federica Gerace},
journal= {arXiv preprint arXiv:2407.07168},
year = {2024}
}