可用信息及训练过程中最优表示的演化
机器学习
2021-03-02 v2 信息论
math.IT
机器学习
摘要
我们引入深度网络所学表示中所含可用信息的概念，并借此研究任务的最优表示如何在训练过程中涌现。我们表明，采用高学习率与小批量大小随机梯度下降（SGD）训练所带来的隐式正则化，在学习任务的最小充分表示中起着重要作用。在达成最小充分表示的过程中，我们发现表示的内容在训练期间动态变化。具体而言，我们发现语义上有意义但最终无关的信息在训练早期的瞬态动力学中被编码，随后被丢弃。此外，我们评估了扰动训练初始阶段对学习动力学及所得表示的影响。我们在受神经科学文献启发的感知决策任务以及标准图像分类任务上展示了这些效应。
引用
@article{arxiv.2010.02459,
title = {Usable Information and Evolution of Optimal Representations During Training},
author = {Michael Kleinman and Alessandro Achille and Daksh Idnani and Jonathan C. Kao},
journal= {arXiv preprint arXiv:2010.02459},
year = {2021}
}
备注
ICLR 2021