回顾学习函数与语义信息度量的演进以理解深度学习
信息论
2023-05-25 v1 机器学习
math.IT
摘要
以互信息神经估计（MINE）和信息噪声对比估计（InfoNCE）为代表的深度学习新趋势正在涌现。该趋势中，相似性函数与估计互信息（EMI）被用作学习与目标函数。巧合的是，EMI本质上与作者三十年前提出的语义互信息（SeMI）相同。本文首先回顾语义信息度量与学习函数的演进历史。然后简要介绍作者的带率-保真度函数R(G)（G表示SeMI，R(G)扩展自R(D)）的语义信息G理论及其在多标签学习、最大互信息（MI）分类和混合模型上的应用。接着讨论我们应如何从R(G)函数或G理论视角理解SeMI与香农MI、两种广义熵（模糊熵与覆盖熵）、自动编码器、Gibbs分布和配分函数之间的关系。一个重要结论是混合模型与受限玻尔兹曼机因SeMI被最大化且香农MI被最小化而收敛，使信息效率G/R接近1。一个潜在机遇是通过使用高斯信道混合模型预训练深度神经网络隐层而无需考虑梯度，从而简化深度学习。还讨论了SeMI度量如何用作强化学习的奖励函数（反映目的性）。G理论有助于解释深度学习但远不充分。语义信息理论与深度学习的结合将加速其发展。
引用
@article{arxiv.2305.14397,
title = {Reviewing Evolution of Learning Functions and Semantic Information Measures for Understanding Deep Learning},
author = {Chenguang Lu},
journal= {arXiv preprint arXiv:2305.14397},
year = {2023}
}
备注
34 pages, 9 figures. published in Entropy, 2023