论神经网络所捕获的信息：与记忆化和泛化的关联
机器学习
2023-06-29 v1 信息论
math.IT
摘要
尽管深度学习广受欢迎且取得成功，但对于神经网络何时、如何以及为何能泛化到未见过样本的理解仍然有限。由于学习可视为从数据中提取信息，我们形式化地研究了神经网络在训练期间所捕获的信息。具体而言，我们从信息论视角看待带噪声标签下的学习，并推导出限制权重中标签噪声信息的算法。随后我们定义了单个样本为深度网络训练所提供的独特信息这一概念，从而阐明神经网络在处理非典型、模糊或属于代表性不足子群体的样本时的行为。我们通过推导非平凡的泛化差距界将样本信息量与泛化联系起来。最后，通过研究知识蒸馏，我们强调了数据和标签复杂度在泛化中的重要作用。总体而言，我们的发现有助于更深入理解神经网络泛化背后的机制。
引用
@article{arxiv.2306.15918,
title = {On information captured by neural networks: connections with memorization and generalization},
author = {Hrayr Harutyunyan},
journal= {arXiv preprint arXiv:2306.15918},
year = {2023}
}
备注
PhD thesis