特征学习与忘却的二分法：基于神经网络随机梯度下降的快慢分析
机器学习
2026-02-10 v1 数据分析、统计与概率
机器学习
摘要
梯度化训练在神经网络中常表现出非平凡结构，因此理解其机制是理论机器学习中的核心挑战。特别是，特征忘却（feature unlearning）的概念——即神经网络在长期训练中逐渐丢失先前学习的特征——近年来受到关注。本研究考虑以大批量随机梯度更新的两层神经网络的无限宽度极限，然后推导具有不同时间尺度的微分方程，揭示特征忘却发生的机制和条件。具体而言，我们利用快慢动力学：一阶权重的 alignment 快速发展，而二阶权重的发展缓慢。由慢动力学决定的临界流形上的流向决定了特征忘却是否发生。我们给出该结果的数值验证，并推导特征忘却的理论依据和尺度律。我们的结果得出以下见解：（i）数据中主要非线性项的强度诱导特征忘却；（ii）二阶权重初始尺度可缓解特征忘却。技术上，我们利用 Tensor Programs 和奇异扰动理论进行分析。
引用
@article{arxiv.2602.07378,
title = {Dichotomy of Feature Learning and Unlearning: Fast-Slow Analysis on Neural Networks with Stochastic Gradient Descent},
author = {Shota Imai and Sota Nishiyama and Masaaki Imaizumi},
journal= {arXiv preprint arXiv:2602.07378},
year = {2026}
}
备注
40 pages