亚线性深度与能量的阈值电路指数下界
计算复杂性
2023-06-29 v2 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
本文从以下四种复杂度度量角度研究阈值电路及其他神经网络理论模型的计算能力：规模（门的数量）、深度、权值和能量。此处电路的能量复杂度衡量其计算的稀疏性，定义为在所有输入赋值上输出非零值的门的最大数量。作为主要结果，我们证明任意规模为 、深度为 、能量为 、权值为 的阈值电路 满足 ，其中 是 所计算的 变量布尔函数的通信矩阵 的秩。因此，这样的阈值电路 只能计算通信矩阵秩被 的对数因子之积与 的线性因子所界的布尔函数。这意味着即便对于亚线性深度阈值电路，若能量和权值足够小，其规模也存在指数下界。对于其他神经网络模型如离散化 ReLE 电路和离散化 sigmoid 电路，我们证明对离散化电路 也成立类似不等式：。
引用
@article{arxiv.2107.00223,
title = {Exponential Lower Bounds for Threshold Circuits of Sub-Linear Depth and Energy},
author = {Kei Uchizawa and Haruki Abe},
journal= {arXiv preprint arXiv:2107.00223},
year = {2023}
}