深度学习的学习动力学——深度神经网络的力分析
机器学习
2025-09-25 v1 人工智能
摘要
本论文利用受力学分析启发的思想，探索深度学习模型随时间的学习过程。具体而言，我们聚焦于模型的训练过程，观察一个训练样本在学习过程中如何影响另一个样本，就像分析力如何推动物体一样。我们将这种影响分解为两部分：两个样本之间的相似程度，以及更新力的强度。该框架帮助我们理解广泛模型在不同真实系统中的行为。例如，它解释了为何某些样本具有非平凡的学习路径，为何（以及为何不）某些 LLM 微调方法有效，以及为何更简单、更结构化的模式往往更容易被学习。我们将该方法应用于多种学习任务，揭示了改进模型训练的新策略。尽管该方法仍在发展中，但它为系统性地解释模型行为提供了一种新途径。
引用
@article{arxiv.2509.19554,
title = {Learning Dynamics of Deep Learning -- Force Analysis of Deep Neural Networks},
author = {Yi Ren},
journal= {arXiv preprint arXiv:2509.19554},
year = {2025}
}
备注
175 pages