理解并利用神经网络的学习阶段
机器学习
2023-12-15 v2 人工智能
摘要
深度神经网络的学习动态尚未被很好地理解。信息瓶颈（IB）理论宣称存在独立的拟合和压缩阶段。但此后它们一直备受争议。我们通过研究训练过程中参数演化对输入的重建能力和预测性能，全面分析了学习动态。我们使用常见数据集和架构（如ResNet和VGG）凭经验证明了三个阶段的存在：（i）近乎恒定的重建损失，（ii）下降，以及（iii）上升。我们还推导了一个经验基础的数据模型，并证明了单层网络阶段的存在。技术上，我们的方法利用了经典复杂度分析。它与IB的不同之处在于依赖测量重建损失而非信息论度量来关联中间层和输入的信息。我们的工作意味着迁移学习的新最佳实践：我们凭经验表明，分类器的预训练应在其性能达到最优之前很久就停止。
引用
@article{arxiv.2312.06887,
title = {Understanding and Leveraging the Learning Phases of Neural Networks},
author = {Johannes Schneider and Mohit Prabhushankar},
journal= {arXiv preprint arXiv:2312.06887},
year = {2023}
}
备注
Accepted at AAAI 2024. This is the extended version with all proofs and additional experiments