具有循环投影的深度网络中参数冗余性的探索

我们通过用循环投影替换全连接层中传统的线性投影，来探索深度神经网络中参数的冗余性。循环结构大幅减少了内存占用，并能够利用快速傅里叶变换加速计算。对于一个具有 d 个输入节点和 d 个输出节点的全连接神经网络层，该方法将时间复杂度从 O(d^2) 降低到 O(dlogd)，将空间复杂度从 O(d^2) 降低到 O(d)。对于现代深度卷积神经网络架构而言，空间节省尤为重要，因为全连接层通常包含超过 90% 的网络参数。我们进一步表明，循环投影的梯度计算与优化可以非常高效地执行。我们在三个标准数据集上的实验表明，与具有非结构化投影的神经网络相比，所提方法在存储与效率上获得了显著收益，且错误率仅有极小增加。