学习斯特拉森乘法的网络

我们研究仅以乘法器作为非线性组件的神经网络，以在精确数据表示至关重要的背景下测试一种新的训练规则。这些网络被赋予发现矩阵乘法规则的任务，给定大量示例。通过限制乘法器的数量，网络被迫发现斯特拉森（Strassen）乘法规则。这在数学上等价于寻找 $n\times n$ 矩阵乘法张量 $M_n$ 的低秩分解。我们用保守学习规则训练这些网络，该规则对权重进行最小改动，以便在接收到输入输出对时对每个输入给出正确输出。保守学习需要几千个示例来找到 $M_2$ 的秩7分解，以及 $10^5$ 个示例来找到 $M_3$ 的秩23分解（已知最低秩）。高精度至关重要，特别是对于 $M_3$，以区分真实分解与“边界近似”。