论强彩票假说的稀疏性

最近大量的研究工作表明,一个随机神经网络 $N$ 包含能够精确逼近任意一个比 $N$ 足够小的给定神经网络的子网络,且无需任何训练。这一研究方向被称为强彩票假说(SLTH),其最初动机源于较弱的彩票假说,该假说指出,一个足够大的随机神经网络 $N$ 包含可以高效训练以达到与训练整个网络 $N$ 相当性能的稀疏子网络。尽管有其原始动机,但迄今为止关于 SLTH 的结果并未对子网络的大小提供任何保证。这种局限性源于这些结果所依赖的主要技术工具——随机子集和(RSS)问题的性质。非正式地说,RSS 问题询问一个随机独立同分布样本 $\Omega$ 应该有多大,才能使我们能够将 $[-1,1]$ 中的任何数,以 $\epsilon$ 的误差,近似为 $\Omega$ 的某个合适子集的和。我们首次在经典设置(如稠密网络和等变网络)中,给出了带有子网络稀疏性保证的 SLTH 证明。我们结果的核心是证明了随机固定大小子集和问题(RFSS)的一个本质上紧的界,该问题是 RSS 问题的一个变体,其中我们只要求给定大小的子集,这一结果本身也具有独立意义。