关联信息最大化：一种无权重对称、生物学上合理的监督深度神经网络方法

反向传播算法在训练大规模人工神经网络方面取得了显著成功；然而，其生物学合理性受到强烈批评，并且大脑是否采用类似它的监督学习机制仍是一个开放问题。在此，我们提出层激活之间的关联信息最大化，作为一种替代的规范性方法，用以描述生物神经网络在向前和向后方向上的信号传播。这一新框架解决了关于传统人工神经网络和反向传播算法生物学合理性的诸多担忧。对相应目标函数基于坐标下降的优化，结合用于拟合标记监督数据的均方误差损失函数，产生了一种模拟更具生物学现实性的多房室锥体神经元网络（具有树突处理和侧向抑制神经元）的神经网络结构。此外，我们的方法为向前和向后信号传播路径之间的权重对称问题提供了自然解决方案，这是对传统反向传播算法合理性的一个重要批评。这是通过利用关联互信息目标的两种替代但等价的形式实现的。这些替代形式本质上导致了无权重对称问题的向前和向后预测网络，为这一长期挑战提供了令人信服的解决方案。