为信息瓶颈理论辩护
机器学习
2023-05-22 v1 人工智能
摘要
本研究及时回应了对信息瓶颈（IB）理论日益增长的批评，注入新视角以纠正误解并重申其有效性。首先，我们引入一个辅助函数，将最大编码率约简方法重新解释为 IB 理论的一个特殊但局部最优的情形。通过该辅助函数，我们澄清了深度学习（DL）网络中应用 ReLU 激活时互信息下降的悖论。其次，我们挑战对 IB 理论适用性的质疑，通过展示当其经辅助函数视角审视时，该理论能够解释隐藏层使用线性激活函数时压缩阶段缺失的现象。最后，我们采取新颖的理论立场，提供一种利用 IB 理论解释 DL 网络内部组织的新方式，使其与近期实验证据一致。因此，本文充当了为 IB 理论正名之举，有可能重振其在 DL 及通信、生物医学研究等其他领域的地位与应用。
引用
@article{arxiv.2305.11387,
title = {Justices for Information Bottleneck Theory},
author = {Faxian Cao and Yongqiang Cheng and Adil Mehmood Khan and Zhijing Yang},
journal= {arXiv preprint arXiv:2305.11387},
year = {2023}
}
备注
9 pages, 1 figures (4 subfigures)