揭示监督学习中信息交互动态
机器学习
2024-06-07 v1 计算机视觉与模式识别
摘要
本文运用矩阵信息论作为分析工具，探讨监督学习过程中数据表示与分类头向量之间信息交互的动力学。具体而言，灵感来源于神经崩塌理论，本文引入矩阵互信息比（MIR）和矩阵熵差比（HDR）来评估数据表示与类分类头之间的相互作用，并确定在神经崩塌发生时MIR和HDR的理论最优值。我们的实验表明，MIR和HDR能够有效解释神经网络中许多现象，例如标准监督训练动力学、线性模式连接以及标签平滑和剪枝的性能。此外，我们利用MIR和HDR深入理解了一种在监督训练中观察到的有趣现象——“grokking”的动力学，即模型在学习拟合训练数据后，仍显示出泛化能力。进一步，我们将MIR和HDR作为监督和半监督学习中的损失项，用于优化样本与分类头之间的信息相互作用。实验结果表明，该方法有效，既有助于理解训练过程中的动力学，又能提升训练本身的效果。
引用
@article{arxiv.2406.03999,
title = {Unveiling the Dynamics of Information Interplay in Supervised Learning},
author = {Kun Song and Zhiquan Tan and Bochao Zou and Huimin Ma and Weiran Huang},
journal= {arXiv preprint arXiv:2406.03999},
year = {2024}
}
备注
Accepted by ICML 2024