通过变分推断可视化信息瓶颈
机器学习
2022-12-27 v1
摘要
信息瓶颈理论为寻找近似最小充分统计量提供了理论与计算框架。对玩具问题上神经网络随机梯度下降（SGD）训练的分析已显示出拟合与压缩两个阶段的存在。本工作中，我们分析深度神经网络在 MNIST 分类上的 SGD 训练过程，并确认了 SGD 训练两阶段的存在。我们还提出了一种通过变分推断估计深度神经网络互信息的设置。
引用
@article{arxiv.2212.12667,
title = {Visualizing Information Bottleneck through Variational Inference},
author = {Cipta Herwana and Abhishek Kadian},
journal= {arXiv preprint arXiv:2212.12667},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:1703.00810, arXiv:2202.06749 by other authors