循环神经网络的样本复杂度界及其在组合图问题中的应用

学习预测实值组合图问题的解有望实现高效近似。基于 NP 难的边团覆盖数所展示的结果表明，循环神经网络（RNNs）特别适合该任务，甚至能超越最先进的启发式方法。然而，估计实值 RNN 的理论框架尚知之甚少。作为我们的主要贡献，这是首个对实值 RNN 学习给出样本复杂度上界的工作。尽管此前已对前馈和卷积神经网络做过此类推导，我们的工作是针对循环神经网络的首次尝试。给定一个具有 $a$ 个修正线性单元且输入长度为 $b$ 的单层 RNN，我们证明至多 $\tilde{\mathcal{O}}(a^4b/\varepsilon^2)$ 个样本即可实现 $\varepsilon$ 的总体预测误差。我们进一步推导了多层 RNN 的可比结果。相应地，一个以最多 $n$ 个顶点的图作为输入、尺寸自适应的 RNN 可在 $\tilde{\mathcal{O}}(n^6/\varepsilon^2)$ 内被学习，即仅需多项式数量的样本。对于组合图问题，这提供了使 RNN 具有竞争力的理论基础。