神经网络中的学习阶段：从拟合多数到拟合少数
机器学习
2022-02-18 v1
摘要
深度神经网络的学习动力学存在争议。基于信息瓶颈（IB）理论，有人提出了分离的拟合与压缩阶段，但此后受到激烈争论。我们通过分析训练过程中参数的演化，以及一层对输入的重构能力与预测性能，来研究学习动力学。我们证明，在数据的温和假设下，存在先降低重构损失的原型阶段，随后降低少数样本的分类损失，而这会增大重构损失。除对单层分类网络给出数学分析外，我们还使用计算机视觉中如 ResNet 和 VGG 等常用数据集与架构评估了该行为。
引用
@article{arxiv.2202.08299,
title = {The learning phases in NN: From Fitting the Majority to Fitting a Few},
author = {Johannes Schneider},
journal= {arXiv preprint arXiv:2202.08299},
year = {2022}
}