关于高效可计算函数、深度网络与稀疏组合性

我们表明，任意固定输入/输出精度下的\emph{高效图灵可计算性}意味着\emph{组合稀疏}（有限入度、多项式规模）DAG 表示的存在，以及相应的神经近似器能够实现目标精度。具体而言：若 $f:[0,1]^d \to \R^m$ 按比特深度多项式时间可计算，则对任意精度对 $(n, m_{\mathrm{out}})$ 存在大小为 $\poly(n+m_{\mathrm{out}})$ 且深度为 $\poly(n+m_{\mathrm{out}})$ 的有限入度布尔电路，计算离散映射；将每个门替换为常数规模的神经模拟器，可得到规模/深度为 $\poly(n+m_{\mathrm{out}})$ 的深度网络，实现误差 $\varepsilon=2^{-m_{\mathrm{out}}}$ 的精度。我们还将这些构造与组合近似率 \cite{MhaskarPoggio2016b,poggio_deep_shallow_2017,Poggio2017,Poggio2023HowDS} 以及视为稀疏结构上层次搜索的优化建立联系。