理解二值权重感知机的计算困难及输入稀疏性的优势
无序系统与神经网络
2020-07-13 v3
摘要
突触权重的有限精度是神经网络在生物与硬件实现中的关键方面。在学习过程中赋予低精度权重是一项非平凡任务，但可能受益于使用稀疏编码表示待学习项。然而，低权重精度带来的计算困难以及稀疏编码的优势仍未被充分理解。在此，我们研究一种感知机模型，该模型使用二值（0或1）权重将二值（0或1）输入模式与输出相关联，模拟接收兴奋性输入的单个神经元。我们考虑了一种逐次固定过程（decimation），其中每个时间步评估未固定权重的边缘概率，然后将最极化的权重固定为其偏好值。我们表明，逐次固定是一个逼近权重构型空间中稠密解区域的过程。在求解二值权重感知机的两种高效算法（SBPI和rBP）中，大多数时间步用于确定逐次固定过程中后期固定权重的值。这一算法难点可能源于在前期固定权重取固定值的解子空间中，后期固定权重之间存在强互相关，并与该子空间在逐次固定过程中的解凝聚现象有关。输入稀疏性通过减少用于给后期固定权重赋值的时间步，降低了SBPI和rBP寻找解所需的时间步，这归因于后期固定权重间互相关的减弱。我们的工作表明，约束满足问题的计算困难源于后期固定变量所在的子空间。我们的工作凸显了权重学习动态的异质性，这可能有助于理解脑发育中的轴突修剪，并启发更高效的训练人工神经网络的算法。
引用
@article{arxiv.1901.10856,
title = {Understanding the computational difficulty of a binary-weight perceptron and the advantage of input sparseness},
author = {Zedong Bi and Changsong Zhou},
journal= {arXiv preprint arXiv:1901.10856},
year = {2020}
}