通过有界规模神经网络获得背包问题的可证明良好解

建立对神经网络性能令人满意且严谨的数学理解是人工智能中的一大挑战。在此背景下，我们以经典的 NP 难背包问题为例研究神经网络的表达式能力。我们的主要贡献是一类带有修正线性单元(recurrent neural networks, RNNs)的循环神经网络，它们被迭代地应用于背包实例的每一项，从而计算出最优或可证明良好的解值。我们证明，深度为四、宽度依赖于最优背包解收益平方的 RNN 足以找到最优背包解。我们还证明了 RNN 规模与所计算背包解质量之间的如下权衡：对于由 $n$ 个物品组成的背包实例，深度为五、宽度为 $w$ 的 RNN 计算出的解值至少为最优解值的 $1-\mathcal{O}(n^2/\sqrt{w})$ 倍。我们的结果建立在背包问题的经典动态规划公式以及对收益值的精细舍入之上，后者也是著名的背包问题完全多项式时间近似方案的核心。一项精心进行的计算研究在定性上支持我们的理论规模界。最后，我们指出我们的结果可推广到许多其他容许动态规划解法的组合优化问题，例如各类最短路径问题、最长公共子序列问题以及旅行商问题。