条件计算神经网络的记忆容量

许多实证研究已证明神经网络中条件计算在性能上的优势，包括降低推理时间和功耗。我们从记忆容量的角度研究神经条件计算的基本极限。对于无条件计算的修正线性单元（ReLU）网络，已知记忆 $n$ 个输入输出关系可通过具有 $O(\sqrt{n})$ 个神经元的神经网络实现。计算该神经网络输出时，对每个输入可使用 $O(\sqrt{n})$ 次加法、乘法和比较的基本算术操作完成。利用条件 ReLU 网络，我们证明同一任务对每个输入仅需 $O(\log n)$ 次操作即可完成。这相比无条件计算网络几乎是指数级改进。我们还证明 $\Theta(\log n)$ 的速率是最佳可能的。我们的可达性结果利用了一种以计算高效方式由无条件网络合成条件网络的通用方法，弥合了无条件与条件架构之间的差距。