悬崖式学习
机器学习
2023-06-08 v2 人工智能
机器学习
摘要
我们研究了在低下游数据 regime 下从基础模型进行迁移学习的数据缩放规律。我们观察到一种有趣的现象，称之为悬崖式学习（cliff-learning）。悬崖式学习指的是数据缩放定律中性能以快于幂律的速率提升的区域（即在双对数缩放图上呈现凹性的区域）。我们对基础模型的悬崖式学习进行了深入探究，并研究了该现象的玩具模型。我们观察到，悬崖式学习的程度反映了学习算法的先验与所学习任务之间的兼容程度。
引用
@article{arxiv.2302.07348,
title = {Cliff-Learning},
author = {Tony T. Wang and Igor Zablotchi and Nir Shavit and Jonathan S. Rosenfeld},
journal= {arXiv preprint arXiv:2302.07348},
year = {2023}
}
备注
16 pages; v2 updates: improved layout, added acknowledgements