小规模ReLU网络加性微调的记忆容量
机器学习
2024-08-20 v2 机器学习
摘要
在机器学习应用中，对大型预训练模型进行微调是一种常见做法，但其数学分析仍鲜有探索。本文从记忆容量的角度研究微调。我们定义的新度量——微调容量（FTC），定义为神经网络可以微调的最大样本数，或者等价地，在微调过程中，为任意改变K个样本中的N个标签所需的最小神经元数量（m）。本质上，FTC将记忆容量的概念扩展到了微调场景。我们分析了加性微调场景下的FTC，其中微调后的网络定义为冻结的预训练网络f与一个用于微调的网络g（具有m个神经元）之和。当g是2层或3层的ReLU网络时，我们得到了FTC的严格上下界；我们证明，无论K多大，N个样本可以用m=Θ(N)个神经元（2层网络）或m=Θ(√N)个神经元（3层网络）进行微调。当N=K时，我们的结果恢复了已知的记忆容量结果。
引用
@article{arxiv.2408.00359,
title = {Memorization Capacity for Additive Fine-Tuning with Small ReLU Networks},
author = {Jy-yong Sohn and Dohyun Kwon and Seoyeon An and Kangwook Lee},
journal= {arXiv preprint arXiv:2408.00359},
year = {2024}
}
备注
10 pages, 9 figures, UAI 2024