端到端训练通过层角色分化诱导信息瓶颈：与逐层训练的比较分析
机器学习
2024-06-03 v2
摘要
端到端（E2E）训练通过误差反向传播优化整个模型，从根本上支撑了深度学习的进步。尽管性能很高，但E2E训练面临着内存消耗、并行计算以及与真实大脑功能差异等问题。人们提出了各种替代方法来克服这些困难；然而，还没有一种方法能在性能上与E2E训练相匹敌，因此在实用性上有所欠缺。此外，除了性能差距之外，对训练后模型属性的差异也缺乏深入理解。在本文中，我们通过与逐层训练（一种局部设置误差的非E2E方法）的比较，重新思考了为什么E2E训练表现出优越的性能。基于E2E训练在传播输入信息方面具有优势的观察，我们基于希尔伯特-施密特独立性准则（HSIC）分析了中间表示的信息平面动力学。我们的归一化HSIC值分析结果揭示了E2E训练能够在各层之间展现不同信息动力学的能力，以及高效的信息传播。此外，我们表明这种层角色分化导致最终表示遵循信息瓶颈原则。这提示我们在分析深度学习的信息瓶颈时，需要考虑层间的协同交互，而不仅仅是最后一层。
引用
@article{arxiv.2402.09050,
title = {End-to-End Training Induces Information Bottleneck through Layer-Role Differentiation: A Comparative Analysis with Layer-wise Training},
author = {Keitaro Sakamoto and Issei Sato},
journal= {arXiv preprint arXiv:2402.09050},
year = {2024}
}
备注
TMLR2024