基于传递熵的信息平面分析可视化深度学习
机器学习
2024-04-03 v1 人工智能
人机交互
信息论
math.IT
摘要
在前馈网络中，可使用传递熵 (Transfer Entropy, TE) 来衡量一层对另一层的影响，通过量化训练期间它们之间的信息传递。根据信息瓶颈原理，神经模型的内部表征应尽可能压缩输入数据，同时仍保留足够关于输出的信息。信息平面分析是一种可视化技术，用于理解信息瓶颈方法中压缩与信息保留之间的权衡，通过绘制输入数据中信息量与压缩表征之间的关系。关于信息论压缩与由互信息衡量的泛化之间存在因果关系的论点是合理的，但来自不同研究的结果存在矛盾。与互信息不同，TE 能捕捉变量之间的时间关系。为探索此类联系，我们的新方法使用 TE 对神经层之间进行信息传递量化，并进行信息平面分析。我们取得了鼓舞人心的实验结果，为进一步的调查开辟了可能性。
引用
@article{arxiv.2404.01364,
title = {Information Plane Analysis Visualization in Deep Learning via Transfer Entropy},
author = {Adrian Moldovan and Angel Cataron and Razvan Andonie},
journal= {arXiv preprint arXiv:2404.01364},
year = {2024}
}